Что под капотом: как работает Поиск с Алисой

Поиск в интернете кардинально изменился. Вместо «десяти синих ссылок» пользователь теперь может получить готовый ответ прямо на странице результатов. Эволюция прошла путь от поиска по ключевым словам через понимание смысла к генеративным ответам. Разберем пошагово, что «под капотом» у ИИ-поисковика на примере Поиска с Алисой.

Архитектура системы

Под капотом Поиска с Алисой работают несколько больших языковых моделей. Когда пользователь приходит с запросом, система после нормализации (исправления опечаток) переходит к семантическому анализу: определяет сущности, намерения пользователя и контекст запроса. При неоднозначности работает дизамбигуация – выбор правильного значения из возможных.

Далее система собирает первичный информационный контекст – буквально обрабатывает результаты поисковой выдачи.

Первая языковая модель-планер

Первая языковая модель-планер получает первичный информационный контекст и определяет:

Структуру будущего ответа

Стратегию сбора максимально объемной информации

Планер определяет из каких разделов будет состоять финальный ответ и выполняет роль маршрутизатора – генерирует задания для разных систем: какие запросы в какие системы Яндекса послать (web ranking, images, video), чтобы получить максимально объемную информацию для генерации полезного ответа.

После этого система выполняет поиск по маршруту с запросами, который определил планер, и собирает нужный обогащенный инфо контекст. Далее вся собранная ранее информация передается во вторую языковую модель.

Генератор: создание финального ответа

Вторая языковая модель-генератор основана на модели из семейства YandexGPT 5, которая была дообучена под задачи анализа и суммаризации информации. Модель-генератор получает запрос, план будущего ответа и обогащенный инфо контекст. Согласно намеченному плану модель генерирует итоговый структурированный ответ на основе полученной информации и выдает пользователю финальный результат.

Поисковый агент будущего

Сейчас принцип работы Поиска с Алисой – это фиксированный набор шагов, который определили инженеры-создатели. Однако запросы в поиск неоднородные – некоторые требуют глубокого анализа статей, сложных рассуждений и анализа большого массива данных По словам разработчиков, следующая ступень эволюции в поиске – поисковый агент, который сам определяет, сколько шагов и какая последовательность нужны для оптимального решения поисковой задачи.

Это эволюция от простого поиска к интеллектуальному агенту, который понимает задачу, планирует решение и генерирует готовый результат в оптимальном формате.