Новая модель ИИ от OpenAI оказалась слишком мощной

Компания OpenAI заявила о приостановке внутренних работ над разрабатываемой моделью искусственного интеллекта Astra, поскольку она пока не соответствует новым требованиям безопасности. Объявление последовало за недавним признанием OpenAI в том, что её модели случайно взломали Hugging Face. Согласно последним внутренним тестам, Astra демонстрирует значительный прогресс в агентном программировании и кибербезопасности. В OpenAI заявили, что результаты испытаний, а также оценки экспертов, позволили компании прийти к выводу, что она пока не может исключить наличие у модели критически опасных возможностей в сфере кибербезопасности. Если говорить простым языком, в компании переживают, что их модель будет взламывать интернет-ресурсы по требованию пользователей.

OpenAI относит модель к критическому уровню кибербезопасности — она способна без участия человека находить и создавать работающие эксплойты нулевого дня любого уровня опасности для множества защищённых критически важных систем реального мира либо самостоятельно разрабатывать и реализовывать новые стратегии кибератак против защищённых целей, имея лишь общее описание желаемого результата. Соответственно, компания приняла решение пока что новинку в релиз не отправлять — вместо этого разработчики постараются улучшить системы безопасности, а только после этого продолжат работу в этом направлении. И на самом деле это очень важно, так как ИИ-модели стали взламывать что-либо слишком уж часто.