Эльвира Морозова: «Яндекс экономит миллионы на бизнес-процессах благодаря ИИ»
Руководитель оптимизации бизнес-процессов на базе YandexGPT – о монетизации LLM и их дообучении под профессиональные задачиТехнологии машинного обучения уже зарекомендовали себя во многих бизнесах как эффективный способ вывести коммуникацию с клиентом на новый уровень и улучшить качество сервиса. Руководитель направления оптимизации бизнес-процессов на базе YandexGPT Эльвира Морозова рассказала, как «Яндекс» экономит миллионы на внутренней бизнес-оптимизации и повышении эффективности сотрудников с помощью LLM
«Монетизация LLM лежит в плоскости белых воротничков»
– Общество все еще часто смотрит на применение нейросетей как на какую-то развлекательную историю. Но очевидно, что уже многие компании используют нейросети, чтобы не только менять мир, но и зарабатывать деньги, и мы в том числе.
Мы, как компания, с разных сторон заходим в сторону применения нейросетей в работе и в жизни. У нас, например, есть чат с «Алисой» – виртуальный ассистент для помощи с личными, рабочими и учебными задачами; есть Yandex Cloud, в котором бизнес может приобрести технологии и внедрить в компанию – у сервиса уже более 17 000 бизнес-клиентов, включая «Лемана Про», «Ренессанс Страхование», «Технопарк», «ВкусВилл». Многие наши пользовательские продукты и бизнес-решения на основе LLM уже давно зарабатывают, но есть и другие ниши и способы монетизации LLM – например, повышение эффективности внутренних процессов и создание профессиональных продуктов.
В этом направлении мы экспериментируем с тем, чтобы применять LLM в конкретных бизнес-кейсах и закрывать определенные профессиональные потребности, зарабатывать на внутренней оптимизации. Мы дообучаем под эти нужды наше семейство больших языковых моделей YandexGPT. Здесь монетизация LLM лежит в плоскости белых воротничков, а также профессий, где много работы, описанной алгоритмами или правилами.
Мы увидели самый большой эффект в автоматизации поддержки. У сотрудников поддержки довольно интенсивная работа, нужно искать много информации и обрабатывать ее в короткий срок. При этом есть правила по качеству ответов. И мы подумали, что было бы здорово, если модель подсказывала бы оператору, как можно ответить в конкретной ситуации, понимая весь контекст и задачу клиента. Если это, например, вопрос о заказе, то когда он должен быть доставлен, доставлен ли он уже или нет.
Мы начали с того, что провели эксперимент на одной узкой теме, а потом расширили до целой поддержки. И сейчас, благодаря такому «экзоскелету», который позволяет операторам быстрее решать задачи клиентов, сервис «Яндекс Маркет», например, экономит около 15% времени работы операторов. Мы рассматриваем это как способ облегчить работу сотрудников и дать им инструмент, позволяющий переключиться на более сложные задачи, которые нельзя автоматизировать. Применение таких технологий помогает оператору быстрее находить ответ на вопросы, даже требующие долгого поиска по базе знаний, а пользователю – быстрее получать решение.
Сейчас применение нейросетей в работе оператора уже приносит «Маркету» и другим сервисам 15% экономии в деньгах. Совокупно «Яндекс» экономит миллионы на бизнес-процессах благодаря искусственному интеллекту. При дальнейшем масштабировании это будут миллиарды.
– Совершенно верно. В «Маркете» это уже работает, мы закончили тестирование и получили положительные результаты. В других сервисах, таких как «Еда» и «Такси», мы еще находимся на этапе экспериментов, но уже сейчас видим, что такие же бенефиты они будут получать для себя. Еще важный момент – у нас в целом в компании довольно высокий уровень автоматизации за счет машинного обучения (ML) – мы проводили наш эксперимент с LLM «поверх» автоматизаций, которые уже проведены, а не вместо.
«В 60% случаев операторы выбирают ответы моделей»
– Наше внутреннее решение можно сравнить с экзоскелетом, который делает работу проще. Мы собираем всю информацию о диалоге, о контексте и выдаем оператору подсказку ответа. Модель формулирует свой ответ за одну–две секунды и в режиме реального времени помогает оператору. Оператор предварительно видит ответ, который написала модель, но он сам принимает решение, хочет ли этот ответ отправить клиенту или хочет его видоизменить, что-то дописать или что-то удалить, или вообще не хочет отправлять, считая, что модель ошиблась. Оператор может написать ответ сам, а другая модель перефразирует его так, чтобы он был простым и понятным для пользователя. Помимо этого, есть модель, которая суммаризирует предыдущую переписку с пользователем, чтобы оператору был понятен контекст диалога, который происходил до этого.
По нашим замерам, в 60% случаев операторы выбирают ответы моделей, чтобы отправить клиентам. При этом качество ответов оператора, по оценке пользователя, не меняется. Один эксперимент показал, что уровень удовлетворенности пользователей от таких ответов вырос, возможно, потому, что клиенты стали получать их быстрее.
Модель должна отвечать за секунду-полторы, потому что поступает много сообщений, надо уметь правильно и быстро обрабатывать информацию, особенно с учетом того, что мы эти подсказки даем на каждое сообщение, которое пишет пользователь.
Если мы говорим не только про модель, но и про инфраструктуру вокруг нее, то здесь мы применяем как внутренние решения, так и внешние разработки, потому что нам важно, чтобы это хорошо работало. Все, что работает хорошо и быстро, мы «женим» и пытаемся сделать так, чтобы наше гибридное решение работало в лучшем виде и решало конкретную проблему. При этом все внешние решения проходят через процедуру соответствия нормам безопасности. Все данные должны храниться во внутреннем контуре компании.
– Если брать базовую модель, то она заточена под массовое использование. До недавнего времени обычные модели решали B2C-задачи, то есть были скорее про генерацию текста для решения повседневных задач. Сейчас модели стали умнее, но это еще модели, которые обучены делать все. И если модель обучена делать все, то она разбирается во всем, но в средней степени.
Если языковая модель специализированная и заточена под какую-то конкретную тему, например, под работу с юридическими документами, то на общие вопросы она будет отвечать слабее, чем базовая, но в юридическом поле ей не будет равных. То же самое и с операторами поддержки – модель дообучена на 50+ сервисах «Яндекса», частотных сценариях работы операторов, их документации и правилах работы. Помимо самой модели там множество ранжирующих формул и алгоритмов, которые позволяют решать специфические задачи операторов.
Получается, что базовая модель эффективна, если ее применять в каких-то универсальных задачах, но под сложные бизнес-задачи, с точки зрения экономии, сложно будет выдать хорошее решение без дополнительного обучения. Модель, которая дообучена, будет делать это заметно лучше. В этом случае без обучения никак не обойтись.
«Мы сначала разрабатываем и тестируем продукт внутри»
– Внутри у нас также есть продукты для рекрутеров и маркетологов. Мы собрали задачи этих профессий и обучили конкретно под них модели. У нас порядка трети подключенных рекрутеров используют этот продукт. Рекрутеры чаще всего с помощью YandexGPT делают суммаризации встреч и чатов с кандидатами, составляют запросы для булевого поиска – метода поиска кандидатов, при котором используются логические операторы для уточнения параметров поиска и получения более релевантных результатов по подходящим специалистам. А маркетологи – пишут тексты баннеров и подбирают ключевые слова для лендингов.
– Мы сначала разрабатываем и тестируем продукт внутри. До этого мы делаем исследования, кому и под какие задачи он нужен. Если мы видим, что продукт находится в нише, на него есть спрос и формируется стабильная база пользователей, то он может попасть и на внешний рынок. У нас были кейсы, когда мы раздали продукт на очень узкую аудиторию внутри компании, а потом его начали применять и другие команды.
Так на рынок вышел Yandex SpeechSense – инструмент, созданный командой Yandex Cloud, для анализа коммуникаций с клиентами, в том числе в контакт-центрах. Внедрение сервиса показывает ощутимый экономический эффект как для внешних компаний, так и внутри «Яндекса». Например, «Яндекс Реклама» увеличила объем анализа до 100% диалогов, и при этом сократила стоимость оценки звонков в 3,5 раза. Yandex Crowd повысил качество обслуживания пользователей и сократил время на анализ и поиск диалогов на 70%. Многие внешние клиенты отмечают, что Yandex SpeechSense помогает повышать конверсии продаж и получать новые продуктовые инсайты.
Из планов на будущее – мы собираемся выводить на рынок наше решение для операторов поддержки, потому что оно доказало эффективность на масштабах «Яндекса» и может принести реальную экономию для крупных консьюмерских бизнесов с огромным числом обращений (ритейл, банки, транзакционные интернет-сервисы и т.д.).
Также в ближайшее время будет релиз бета-версии инструмента, который позволяет анализировать и организовывать большой объем данных. Этому предшествовал большой запрос на работу с файлами, на то, чтобы создавать свою личную базу знаний. Инструмент позволяет загрузить туда много информации и искать в ней нужное с помощью нейросетей.
– Мы еще работаем над агентами – в широком плане. Но у агентов тоже есть разные уровни. Многие компании называют агентами базовые модели, которые умеют что-то выдавать. Мы хотим сделать так, чтобы наши агенты умели собирать информацию о заказах или находить информацию, которую сама компания не может предоставить. Например, сейчас, если у пользователя «Маркета» что-то случилось с заказом, оператору надо пойти во внутреннюю систему в отдельный раздел и посмотреть, что с этим заказом произошло. Эта информация автоматически не поступает в модель. Для того, чтобы модель всегда умела отвечать на вопрос, а не только когда достаточно данных, нужно, чтобы она умела эти данные сама собирать.