Компания NVIDIA запускает новую платформу безопасности, предназначенную для контроля и изоляции ИИ-агентов. Компания представила её на фоне серии инцидентов, в которых автономные ИИ-системы использовались для хакерских атак. Новая Open Agent Safety Platform, по словам NVIDIA, способна изолировать агента, если он пытается выйти за установленные границы, всего за несколько миллисекунд. В основе платформы лежит открытое программное обеспечение OpenShell, работающее на процессоре NVIDIA Vera AI. Пользователь может самостоятельно определить, к какой информации разрешено получать доступ ИИ-агенту. OpenShell проверяет соблюдение этих ограничений как перед началом выполнения задачи, так и во время её выполнения.

Кроме того, платформа использует технологию NVIDIA Sentry, работающую на отдельном чипе, для непрерывного наблюдения за агентами и принудительного соблюдения заданных ограничений. В интервью CNBC генеральный директор NVIDIA Дженсен Хуанг подчеркнул, что ИИ-агентам необходимо предоставлять доступ только к той информации, которая требуется им для выполнения конкретных задач. По его словам, для безопасной работы агентных систем необходимо правильно организовать их изолированную среду и другие связанные системы, чтобы агент обладал минимально необходимыми правами доступа. Но, конечно, нужно сначала посмотреть на то, как именно данная система будет справляться с поставленными задачами в реальных тестах.