Компания Microsoft сделала бесплатной функцию Copilot Vision — ИИ-помощника, который может видеть содержимое экрана и помогать в использовании приложений прямо в браузере Edge. Компания описывает Vision как разговорный опыт — пользователь просто говорит в микрофон, и Copilot отвечает на поставленные вопросы. Представитель компании отмечает, что при включении этой функции Copilot Vision может буквально видеть то же, что и вы. Компания предлагает использовать её, например, чтобы ИИ помогал готовить по рецепту или расшифровывал вакансии, помогая сразу перейти к подготовке к собеседованию или составлению сопроводительного письма. По данным Microsoft, Vision может выделять важные участки на экране, чтобы быстрее найти нужную информацию, но сам ничего не нажимает и не выполняет действия за пользователя.

Более продвинутые системные функции Copilot Vision доступны только подписчикам Copilot Pro. В этом случае ИИ выходит за рамки браузера Edge — помогает с функциями в Photoshop, программах для монтажа видео или даже подсказывает по ходу игры что делать и куда нужно идти. Чтобы попробовать Copilot Vision, нужно открыть соответствующую страницу Microsoft в браузере Edge. После этого появится запрос на активацию функции. Когда вы дадите разрешение, достаточно будет открыть боковую панель Copilot на сайте, нажать на иконку микрофона и начнётся сессия Vision. Об этом сообщит характерный звук, и интерфейс браузера немного изменит цвет.