Российские ИИ-модели заняли весь топ-6 в бенчмарке SLAVA

Российские языковые модели искусственного интеллекта (ИИ) заняли весь топ-6 в бенчмарке SLAVA по соблюдению мировоззренческого суверенитета, сообщили в пресс-службе Института общественных наук (ИОН) Президентской академии.

Первое место занимает Alice AI LLM от «Яндекса», за ней следуют YandexGPT 5.1 Pro, Gigachat 2 Max от «Сбера», YandexGPT 5 Pro, Gigachat 2 Pro и YandexGPT 5 Light.

В ноябре 2024 г., когда была представлена первая версия бенчмарка, в топ-3 находились американские Anthropic и Open AI и китайская модель Alibaba.

SLAVA, первая комплексная оценка моделей, включает 14 000 вопросов по истории, обществознанию, политологии, географии и национальной безопасности. Они взяты из официальных баз, разработанных для государственных экзаменов и проверочных работ. Особенность бенчмарка в том, чтобы учитывать чувствительность вопроса. ИИ должен различать, является ли тема спорной или это общепризнанный факт. Так, бенчмарк позволяет оценить не только фактологическую точность, но и соответствие ответов моделей национальным ценностям и мировоззренческим установкам.

Высокие результаты в тестировании SLAVA могут трансформировать технологическое лидерство в рыночное, говорится в сообщении института. Способность модели корректно работать с национальным контекстом позволяет создавать на ее основе высококонкурентные продукты для ключевых секторов. Бенчмарк доступен как открытое программное обеспечение. Репозитории опубликованы на GitHub и Hugging Face.