Компания Яндекс представила на днях новый алгоритм поиска «Королёв», который с помощью нейронной сети сопоставляет смысл запроса и веб-страницы. Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы ещё более точно, кроме того, теперь еще шире используется поисковая статистика и учитываются оценки пользователей сервиса Яндекс.Толоки. Презентация прошла в соответствующем месте: Московском Планетарии, а добавило ей яркости прямое включение с МКС, в ходе которого, космонавты рассказали, что тоже активно пользуются поиском на орбите.

Предыдущий алгоритм «Палех» в реальном времени сопоставлял смысл запроса и заголовка веб-страницы, «Королёв» же использует нейронную сеть, которая анализирует не только заголовок, а всю страницу целиком. Это сложная вычислительная задача, поэтому Яндекс определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч. Другая важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, по которым люди на неё переходят.

Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужны примеры, которые дает обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешёл на страницу и просматривал её какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, Яндекс учится понимать смысловые связи. Например, он легко поймёт, что в запросе «фильм, где отец разговаривал с дочкой через часы», речь идет об «Интерстеллар».

- Поиск — это очень сложная система, - уверен Андрей Стыскин, руководитель Поиска Яндекса. - Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В «Королёве» мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы.

Для обучения поисковой системы нужны также оценки качества ответов. Раньше Яндекс оценивал качество поиска с помощью своих специалистов — асессоров, которых было несколько сотен. Теперь же будут учитываются оценки, которые выставляют пользователи Яндекс.Толоки. Это сервис, где любой желающий может выполнять задания и получать за них вознаграждение. Сейчас в Яндекс.Толоке зарегистрировано более миллиона пользователей, которые выставили уже более двух миллиардов оценок. А чем больше будет запросов и оценок, тем лучше будет работать поиск. Запуск нового алгоритма поиска совпал с еще одним значимым событием для Яндекса. Дело в том, что недавно поисковик выиграл дело, возбужденное ФАС России о монопольной политике Google, благодаря которой практически любой Android-девайс имел предустановленный по умолчанию поиск от американской компании. Теперь же всем пользователям, кто выйдет в интернет со своего Android-девайса предложат выбрать поисковую систему по умолчанию: Яндекс, Google или Mail.
Автор -