MWS AI представила модель Cotype Pro 3 для создания корпоративных ИИ-агентов

Компания MWS AI (входит в МТС Web Services) представила языковые модели третьего поколения Cotype Pro 3 и Cotype Light 3 размером 27 млрд и 9 млрд параметров соответственно. Они предназначены для создания корпоративных ИИ-агентов – программ, способных самостоятельно выполнять многошаговые бизнес-задачи без участия человека. Об этом говорится в сообщении компании.

Обе модели работают одновременно с текстом и изображениями. Для проверки их агентских возможностей MWS AI разработала собственный набор из 178 бизнес-сценариев, в которых модель выступает в роли оператора клиентской поддержки, консультанта по тарифам, кадрового специалиста, аналитика по компаниям или инспектора налоговых рисков. 

По данным компании, Cotype Pro 3 выполнила 92,2% заданий против 80,5% у предыдущей версии, Cotype Light 3 – 88,6%. Помимо доли решенных задач тест измерял воспроизводимость, то есть способность модели стабильно выдавать тот же результат при многократном обращении. У Cotype Pro 3 этот показатель составил 79,1%, у Cotype Light 3 – 73,9%, у прошлого поколения моделей – 62,5%.

Гендиректор MWS AI Денис Филиппов пояснил, что при разработке моделей компания уделяла внимание не только качеству выполнения задач, но и стабильности результатов. Типичная проблема внедрения агентного ИИ, по его словам, в том, что модель «отлично работает на демо, а в продакшене начинает вести себя непредсказуемо». Именно воспроизводимость ответов определяет, можно ли строить на модели реальные корпоративные процессы, считает Филиппов.

Отдельное внимание при разработке Cotype Pro 3 уделили качеству русскоязычной генерации, рассказал директор по экспериментальным продуктам MWS AI Сергей Пономаренко. Для этого компания создала метрику, отслеживающую языковой дрейф – случайные переходы модели на другой язык, бессмысленные повторы и искажения текста. «Тест проводился на корпусе из почти 304 000 слов. Модель сгенерировала 99,79% русского текста без языкового дрейфа», – сообщил Пономаренко.

В компании также заявили, что в независимом бенчмарке MERA модель Cotype Pro 3 заняла третье место, уступив моделям в несколько раз большего размера. В собственном тесте компании MWS AI Vision Bench, оценивающем работу с русскоязычными корпоративными документами (более 800 изображений и 2500 заданий), Cotype Pro 3 показала точность 74%, превысив результаты зарубежных моделей.

Cotype Pro 3 и Cotype Light 3 можно развернуть в закрытом контуре на инфраструктуре заказчика, в том числе под управлением российской ОС Astra Linux, и дообучить на корпоративных данных. Контекстное окно из 262 000 токенов позволяет обеим моделям единовременно обрабатывать около 600 страниц текста. Они доступны как самостоятельные решения, а также в составе платформы MWS AI Agents Platform.