Исследователи НИУ ВШЭ учат большие языковые модели понимать русскоязычную научную терминологию, увеличивая при этом их энергоэффективность. Адаптированная модель работает в 2,7 раза быстрее и требует на 73% меньше памяти, чем исходная открытая модель, что позволяет запускать ее на более доступном оборудовании. Программа прошла государственную регистрацию.
Объем научно-технической информации (патентов, статей, отчетов) с каждым днем стремительно увеличивается. Эффективно работать с этим массивом данных помогает искусственный интеллект. Как правило, большие языковые модели, представленные на рынке, мультиязычные и обучены на разных языках. Но в популярных чат-ботах с генеративным искусственным интеллектом, таких как ChatGPT, превалируют данные на английском, что грозит появлением монокультуры данных в области ИИ.
Ученые Института статистических исследований и экономики знаний НИУ ВШЭ дообучили существующие большие языковые модели, чтобы получить инструмент, способный более точно анализировать научные тексты на русском языке с пониманием предметной специфики. Основой послужил корпус данных iFORA-QA, вручную собранный более чем 150 экспертами ИСИЭЗ из аналитических материалов и отчетов в области науки, технологий и инноваций.
После адаптации точность модели при ответах на узкопрофессиональные вопросы в сфере науки, технологий и инноваций выросла, скорость генерации увеличилась в 2,7 раза, а использование памяти сократилось на 73% по сравнению с открытой мультиязычной моделью.
«Универсальные языковые модели знают много, но поверхностно. Нам же нужна модель, которая понимает, о чем пишут российские ученые и инженеры. Благодаря проведенным исследованиям мы смогли научить алгоритм мыслить в категориях предметной области, понимать связи между сложными понятиями и корректно интерпретировать запросы», — комментирует главный аналитик проекта, научный сотрудник и ведущий эксперт Центра стратегической аналитики и больших данных ИСИЭЗ Анастасия Малашина.
Уже в этом году исследователи разработают дополнительные полезные инструменты на базе адаптированной модели. Первым станет умный поисковик — он снизит риски галлюцинирования модели и будет формировать выводы только со ссылками на научные источники информации. Второй инструмент — граф связей, который позволит выявлять закономерности, в том числе скрытые, на основе структуры источников. Кроме того, модель получит способность работать с неполной и неоднозначной информацией, а также рассуждать, то есть не просто давать ответ, а сначала анализировать, чего ей не хватает, задавать уточняющие вопросы пользователю и только потом формулировать подробный ответ.
В итоге все эти возможности объединятся в единую мультиагентную систему, которая позволит решать сложные задачи автоматически.
«Мы создаем целостную систему интеллектуальных агентов, адаптированную под реалии российской науки. Она будет работать на базе большой языковой модели и сможет автономно анализировать научно-техническую информацию и выявлять скрытые связи. Это шаг к автоматизации научной аналитики, где ИИ становится партнером исследователя», — подчеркивает Анастасия Малашина.
Модель искусственного интеллекта разрабатывается в рамках реализации программы Центра искусственного интеллекта НИУ ВШЭ по гранту, предоставленному Минэкономразвития России.