«Яндекс» сэкономит 4,8 млрд рублей за счет оптимизации обучения нейросетей
«Яндекс» повысил эффективность процессов обучения больших языковых моделей (LLM) без снижения качества и масштабов разработок. Благодаря глубокой оптимизации инфраструктуры годовая экономия достигает 4,8 млрд руб. (в среднем 400 млн руб. в месяц).
Ключевым технологическим решением стала разработанная компанией библиотека YCCL (Yet Another Collective Communication Library). Она позволила вдвое ускорить обмен данными между графическими процессорами при обучении нейросетей, снизить объем передаваемых при этом данных и перенести управление с графических на центральные процессоры. Библиотека YCCL масштабируется на крупные кластеры, ее аналоги есть только у Meta
Дополнительные улучшения дал переход на FP8 – формат с пониженной точностью вычислений, позволяющий быстрее обучать нейросети и тратить на это меньше ресурсов. Его применение ускорило обучение моделей на 30% и снизило коммуникации вдвое.
«Яндекс» провел исследования, согласно которым увеличение батча (объема передаваемых данных) не приводит к замедлению обучения. Компания увеличила батч до 16–32 млн токенов, что дало возможность обучать модели в режиме с минимальным простоем ресурсов графических процессоров. Кроме того, была повышена стабильность IT-инфраструктуры, что уменьшило количество аппаратных неполадок и сократило расходы на перезапуск обучения моделей, а также оптимизирован код и усовершенствованы архитектурные решения для обучения искусственного интеллекта (ИИ).
25 декабря 2025 г. «Яндекс.Маркет» начал использовать ИИ для обнаружения подозрительных заказов, оформленных с постоплатой. Представители маркетплейса уточнили, что площадка обучила ML-модель на информации о прошлых покупках и аномалиях в поведении покупателей. Система анализирует новые заказы в ПВЗ и присваивает им уровень риска. Если операция выглядит подозрительно, она оповещает специалиста службы контроля качества. Сотрудник изучает данные и принимает решение о возможности оформления заказа и способе его оплаты.