NVIDIA RTX Pro 6000 обошла четыре RTX 5090 в ИИ-инференсе

Видеокарта NVIDIA RTX Pro 6000 Blackwell наглядно показывает, почему одна мощная видеокарта может быть эффективнее привычных конфигураций из нескольких видеокарт при запуске крупных ИИ-моделей. В некоторых задачах она практически догоняет систему с четырьмя RTX 5090, а по энергоэффективности заметно превосходит её. Пользователь Steveibe опубликовал результаты собственного тестирования, где проверял возможность запуска больших ИИ-моделей в домашних условиях. Для испытаний использовалась MiniMax M2.7 — модель для инференса с 230 миллиардами параметров. В его тестах четыре RTX 4090 генерировали 71 токен в секунду, тогда как четыре RTX 5090 выдавали 120 токенов в секунду. При этом RTX Pro 6000 генерирует 118 токенов в секунду, то есть одна видеокарта практически сравнялась с четырьмя RTX 5090.

Но важна не только скорость — намного интереснее выглядит энергопотребление. Конфигурация с четырьмя RTX 4090 потребляет около 1800 Вт, а система с четырьмя RTX 5090 — примерно 2300 Вт. Для сравнения, одна RTX Pro 6000 Blackwell требует всего 600 Вт. Иными словами, одна профессиональная видеокарта обеспечивает почти тот же уровень производительности, что и четыре топовые игровые модели, но при гораздо меньшем энергопотреблении, меньшем тепловыделении и более простой сборке системы. Это ещё раз показывает преимущества мощных решений с большим объёмом памяти для локального запуска крупных ИИ-моделей. Да и одну видеокарту будет гораздо дешевле купить.