Команда, в состав которой вошли сотрудники Международной лаборатории статистической и вычислительной геномики Алексей Шмелев и Никита Червов, выпускник 2025 года магистратуры «Анализ данных в биологии и медицине» ФКН НИУ ВШЭ Иван Геворков, а также двое студентов из США, показала высокий результат на международном соревновании по машинному обучению The 2026 NeuroGolf Championship. Команда получила золотую медаль и заняла 7-е место в итоговом рейтинге.
Соревнование проходило на платформе Kaggle и было основано на задачах бенчмарка ARC-AGI, предназначенного для оценки способности систем искусственного интеллекта к абстрактному рассуждению. Всего участникам предстояло решить 400 задач. Каждая из них содержала несколько пар изображений «до» и «после», связанных одним скрытым правилом преобразования. По этим примерам нужно было определить закономерность, а затем предложить минимальную архитектуру нейронной сети, способную выполнять такое преобразование на новых изображениях. Для каждой из 400 задач требовалось найти свое решение, поэтому вручную проработать весь набор оказалось практически невозможно. Это и стало одной из причин, по которой команда решила автоматизировать исследовательский процесс.
Исследователи создали фабрику из 330 агентов на базе ChatGPT, которые могли параллельно работать над большим числом задач. Для управления системой команда также разработала телеграм-бота, через который можно было легко контролировать их работу.
Одной из главных сложностей стало определение задач, на которых стоит концентрировать дальнейшие усилия по оптимизации. Проверка новых решений на Kaggle была ограничена ежедневными лимитами, поэтому каждая попытка должна была использоваться максимально эффективно.
Для этого команда строила распределение баллов по задачам и отслеживала динамику их улучшения. Это позволяло определять задачи, которые давали наибольший прирост общего балла и были наиболее перспективны для дальнейшей работы, после чего усилия агентов направлялись именно на них.
Соревнование дало возможность отладить пайплайн автоматизированного исследования с использованием ИИ-агентов. Такой подход позволяет масштабировать работу с исследовательскими гипотезами и быстрее проводить их экспериментальную проверку. Это особенно актуально на фоне быстрого роста числа новых методов и исследовательских работ в области искусственного интеллекта.
Разработанный в ходе соревнования подход команда планирует использовать и в дальнейшем для ускорения своих исследований.
Подробное описание решения опубликовано в writeup на Kaggle. Там можно ознакомиться с устройством системы агентов, деталями реализации и открытым исходным кодом.
«В рамках соревнования мы пробовали разные модели искусственного интеллекта, но в основном работали с ChatGPT и Claude. Мне было очень интересно наблюдать за тем, как эти агенты ведут себя во время долгой автономной работы. Уже ни для кого не секрет, что современные модели очень мощные и могут практически безошибочно выполнять сложную работу, если четко сформулировать для них задачу. Но оказалось, что часто они ведут себя прямо как люди, уставшие после долгого рабочего дня, — рассказывает Алексей Шмелев. — Например, ChatGPT мог просто сдаться и сказать, что больше ничего не получается. При этом иногда хватало короткого промпта вроде “Don't give up. I believe in you. You will definitely find a better solution. Think outside the box, explore new branches, and keep trying”, чтобы модель вышла из тупика и в итоге нашла решение. Еще забавно, что и с ChatGPT, и с Claude работал другой прием. Можно было сказать что-то вроде “Come on, I know someone who got a higher score on this task. So don't tell me it's impossible. You can do better. Rethink your approach and find a stronger solution”. После этого модель нередко действительно сразу находила более оптимальное решение».
Никита Червов, подводя итоги соревнования, подчеркивает: «Мы улучшили свои навыки в автоматизации работы с помощью агентов, что в дальнейшем планируем использовать для ускорения тестирования идей, связанных с нашими исследованиями».
Поздравляем Алексея, Никиту и их команду с высоким результатом и желаем новых научных достижений!