Т-Банк представил методы для снижения затрат на генерации ответов у ИИ-моделей

Исследователи Центра искусственного интеллекта Т-Банка представили два метода обучения ИИ-моделей, позволяющих снизить затраты на корпоративный искусственный интеллект (ИИ). Разработки предназначены для компаний, которые из-за требований к безопасности и конфиденциальности данных запускают ИИ на собственной инфраструктуре, говорится в сообщении компании. Презентация методов прошла на международной конференции по обработке естественного языка и искусственному интеллекту уровня A* EMNLP 2026 в Будапеште.

Один из методов направлен на снижение стоимости обработки запросов к языковым моделям, другой – на сокращение расходов при извлечении информации из документов. Первый метод Т-Банка позволяет объединить множество узкоспециализированных языковых моделей в одну универсальную, говорится в сообщении. По данным компании, модель объединила более 200 внутренних сервисов банка и уже обрабатывает около половины ежемесячного трафика внутренней платформы больших языковых моделей. Она обрабатывает запросы в 2,8-3,9 раза дешевле, чем более крупная модель, которую использовали для сравнения, сообщили в Т-Банке. Там добавили, что в отдельных сервисах затраты сокращаются в четыре-девять раз. Внутренние тесты Т-Банка показали, что по ряду показателей качества ответов и выполнения инструкций разработка превосходит более крупную модель.

Вторая разработка предназначена для другой корпоративной задачи – обработки документов. Она позволяет извлекать информацию из документов разных типов по текстовому запросу, говорится в сообщении. Модель может находить, например, реквизиты, даты и суммы. По данным Т-Банка, ее использование сокращает затраты на обработку документов более чем на 80% по сравнению с ручной обработкой и более чем на 50% по сравнению с лучшей из протестированных открытых моделей.

При оценке экономической эффективности исследователи учитывали не только расходы на работу модели, но и затраты на проверку результатов сотрудником, уточняется в сообщении. В зависимости от качества извлеченных данных система может обработать их автоматически, передать человеку на подтверждение или оставить ручную обработку, говорится в материалах Т-Банка.

Оба разработанных метода уже внедрены в бизнес-процессы компании, указано в сообщении. «Мы показали, что одну относительно компактную языковую модель можно дообучить под реальные корпоративные задачи, заменив ею более дорогие решения и сохранив качество», – заявил директор Центра искусственного интеллекта Т-Банка Дмитрий Ушанов.

Задача снижения расходов на использование ИИ становится актуальнее по мере того, как компании переходят от разработки моделей к их постоянному применению. По прогнозу Gartner, расходы на обработку запросов с помощью уже обученных ИИ-моделей (инференс) в облачной инфраструктуре, оптимизированной для ИИ, в 2026 г. составят $23,3 млрд против $19 млрд на обучение моделей. На инференс придется 55% расходов на такую инфраструктуру, а в 2027 г. его доля, по оценке аналитиков, достигнет 59%.

Одним из способов сократить такие расходы становится использование небольших моделей, настроенных под определенные задачи. В прогнозе на 2026 г. AT&T отмечала, что эти инструменты будут востребованы в корпоративном секторе. Аналитики Gartner также ожидают, что к 2027 г. компании будут использовать небольшие специализированные модели как минимум втрое чаще, чем большие языковые модели общего назначения.

Такие модели могут выполнять часть корпоративных задач без обращения к более крупным системам, однако возможности их применения зависят от сложности операций. Небольшие модели подходят прежде всего для массовых типовых задач – например, обработки писем и заказов, работы с внутренней документацией и корпоративными системами, отметила руководитель группы «Обобщаемые системы ИИ» Института AIRI Дарья Пугачева. По ее словам, в отдельных сценариях, в том числе при работе с документами и выполнении цепочек действий с помощью ИИ-агентов, небольшие модели могут показывать качество, сопоставимое с более крупными.

При этом применение специализированных моделей имеет ограничения. Специализация не гарантирует отсутствия ошибок, а перенос модели на новые и более сложные задачи может быть ограничен, пояснила Пугачева. «Для нестандартных задач и сложного планирования разумно совместное использование с большой моделью», – рассказала эксперт.

Особенно заметной экономия от использования компактных моделей может быть при работе с ИИ-агентами, которые обращаются к языковой модели десятки раз для выполнения одной задачи, отметил руководитель лаборатории иммерсивных технологий в образовании Школы управления «Сколково» Артем Егоров. По его словам, направление каждого такого запроса к большой модели быстро увеличивает расходы.

Даже при использовании небольших моделей итоговая экономия зависит не только от стоимости обработки запросов, но и от расходов на внедрение и сопровождение системы. По словам руководителя Центра разработки больших языковых моделей MWS AI Валентина Малых, стоимость эксплуатации корпоративного ИИ зависит не только от выбранной модели, но и от готовности бизнес-процессов к автоматизации. Например, неэффективное использование токенов (единиц текста, обрабатываемых моделью) может приводить к перерасходу средств. При оценке экономии необходимо учитывать затраты на вычислительные ресурсы, дообучение и поддержку модели, а также время сотрудников на проверку результатов, добавил эксперт.

Затраты на проверку результатов могут существенно снизить экономический эффект автоматизации, отметил руководитель направления SRE (Site Reliability Engineering – инжиниринг надежности сайта), ИТ-менеджер продуктовых команд АО «Киви» Дмитрий Роенко. «Если человек обрабатывает документ за 10 минут, а нейросеть делает это за минуту, но на проверку и исправление ошибок уходит еще восемь минут, выгода минимальна», – объяснил эксперт.

Помимо снижения расходов на использование уже обученных моделей, исследователи ищут способы эффективнее расходовать ресурсы при их дообучении. Ученые Московского физико-технического института (МФТИ) совместно с исследователями «Т-Технологий» разработали метод SimplexLoRA, который автоматически распределяет фиксированный объем обучаемых параметров между слоями нейросети с учетом их значимости для конкретной задачи, говорится в пресс-релизе института. Это позволяет выделять больше параметров тем слоям, которые сильнее влияют на результат, не увеличивая их общее количество, сказано в сообщении.

Метод проверили на 12 задачах, включая ответы на вопросы, анализ текстов и математические рассуждения, сказано в пресс-релизе МФТИ. По данным исследователей, SimplexLoRA позволяет повысить качество дообучения при неизменном количестве обучаемых параметров.