«Яндекс» за год сэкономил 4,5 млрд рублей от внедрения в поиск ИИ-технологий

«Яндекс» снизил себестоимость генеративных ответов в поиске за счет внедрения семейства языковых моделей Alice AI Search. Благодаря оптимизации инфраструктуры высоконагруженного сервиса и использования больших языковых моделей для разметки данных компания за год сэкономила 4,5 млрд руб.

Семейство Alice AI Search отвечает за генерацию быстрых ответов Алисы AI в поиске. Новая архитектура и несколько других оптимизаций позволили втрое снизить себестоимость ответов искусственного интеллекта (ИИ). В результате покрытие ими в поиске увеличилось за год в 1,5 раза, а качество ответов улучшилось.

Сэкономить также помогла оптимизация инфраструктуры, включая улучшение балансировки нагрузки на инфраструктуру, более эффективное использование серверов и применение технологии «Яндекса» с открытым исходным кодом Perforator. Она помогает находить узкие места в сервисах и автоматически ускорять их на основе реальной нагрузки. Это позволило высвободить вычислительные мощности, эквивалентные 1000 серверов.

Компания внедрила ИИ-технологии и в процесс разметки. Для ее подготовки необходимы тысячи специалистов высокой квалификации. «Яндекс» использовал для разметки большие языковые модели. Так, эксперты готовят ее эталонные примеры, а модели учатся размечать данные по их образцам.

7 апреля технический директор «Яндекс.Поиска» Екатерина Серажим рассказала, что компания развивает «агентный поиск», оптимизированный для нейросетей. Он отбирает только полезную для ответа информацию. По ее словам, за счет такого поиска объем обрабатываемых ИИ данных сократился на 25% без потери качества.