Sony создаёт ИИ-персонажей для игр на PlayStation 5

Компания Sony разрабатывает прототип игрового персонажа с ИИ-управлением — в распоряжении информационного издания The Verge оказалось внутреннее видео подразделения PlayStation, демонстрирующее ИИ-версию Элой из Horizon Forbidden West. После публикации видео было удалено с YouTube по жалобе компании Muso, занимающейся защитой авторских прав. Стоит сказать, что ролик озвучен Шарвином Рагхубардаджалом, директором по разработке программного обеспечения в Sony Interactive Entertainment. Он занимается игровыми технологиями, ИИ, компьютерным зрением и технологией лицевой анимации в PlayStation Studios Advanced Technology Group. И в этом видео показана версия Элой, которая может вести голосовой диалог с игроком в режиме реального времени.

В демонстрации ИИ-Элой отвечает на вопросы синтезированным голосом, а также сопровождает речь соответствующими мимическими движениями. Прототип был разработан совместно с Guerrilla Games и пока предназначен только для внутреннего тестирования. Технология использует OpenAI Whisper для распознавания речи, а также GPT-4 и Llama 3 для формирования диалогов и принятия решений. За генерацию голоса отвечает собственная система Sony — Emotional Voice Synthesis, а за анимацию лиц — технология Mockingbird. Хотя демонстрация проходила на ПК, Sony также тестировала запуск отдельных компонентов этой технологии на PlayStation 5 с минимальными нагрузками на систему. Впервые прототип был представлен внутри компании год назад.