Вчера компания NVIDIA официально объявила о релизе своей новой видеокарты H200 Hopper, которая оснащена самой быстрой в мире памятью HBM3e от Micron. Стоит отметить, что видеокарты H100 от NVIDIA являются самыми востребованными чипами для искусственного интеллекта в индустрии на сегодняшний день, но инженеры компании хотят предложить своим клиентам ещё больше производительности. Для этого был создан HGX H200 — это новейшая платформа вычислений для искусственного интеллекта и высокопроизводительных вычислений, оснащённая видеокартами H200. Эти видеокарты обладают последними оптимизациями Hopper как на аппаратном, так и на программном уровне, и предлагают самую быструю память на сегодняшний день.

Представители компании отметили, что видеокарты NVIDIA H200 оснащены решением HBM3e от Micron с объёмом памяти до 141 ГБ и пропускной способностью до 4,8 ТБ/сек, что в 2,4 раза больше пропускной способности по сравнению с видеокартой NVIDIA A100 (да и памяти стало больше). Это новое решение для памяти позволяет NVIDIA почти удвоить производительность технологий на базе искусственного интеллекта по сравнению с видеокартами H100 в приложениях вроде Llama 2 (70 миллиардов параметров LLM). Конечно, стоит такое удовольствие достаточно дорого, но, с другой стороны, решения для разработок на базе искусственного интеллекта сейчас просто не могут быть доступными — слишком высокий спрос на рынке и слишком мало предложений от крупных компаний.