NVIDIA выпустила софт для локальной работы с ИИ

NVIDIA представила Personal AI Router — бесплатный инструмент, который объединяет домашние компьютеры в единую сеть для выполнения локальных задач, связанных с искусственным интеллектом. Сразу стоит уточнить — несмотря на название, PAIR не имеет никакого отношения к аппаратным маршрутизаторам. Это программное обеспечение с открытым исходным кодом, разработанное NVIDIA. Оно автоматически обнаруживает совместимые компьютеры в локальной сети, объединяет их и подготавливает к выполнению задач в агентных ИИ-системах. В основном PAIR рассчитан на компьютеры с видеокартами NVIDIA GeForce — поддерживаются модели начиная с RTX 20-й серии, а также профессиональные видеокарты и системы DGX Spark. Кроме того, совместимыми оказались компьютеры на чипах Apple M4 и новее.

Главная особенность PAIR заключается в том, что программа использует вычислительные ресурсы домашних компьютеров в те моменты, когда они простаивают, не мешая пользователю выполнять другие задачи. Объединённая таким образом система может параллельно обрабатывать большое количество запросов. Это особенно полезно для агентных рабочих процессов, в которых сложные задачи разбиваются на множество небольших операций. Такой подход позволяет снизить нагрузку на отдельный видеокарты и избежать серьёзных узких мест. NVIDIA также заявляет, что PAIR способен динамически адаптироваться к подключению и отключению устройств. Это большой шаг в сторону локального ИИ.