Ученые Института искусственного интеллекта и цифровых наук факультета компьютерных наук ВШЭ и студенты трека «ИИ360: Инженерия искусственного интеллекта» бакалаврской программы «Прикладная математика и информатика» приняли участие в международной конференции ICLR — одном из самых авторитетных мировых форумов в области машинного обучения и представления данных. В этом году конференция состоялась в Рио-де-Жанейро (Бразилия).
Главный трек: прорывы в генеративном ИИ и биоинформатике
В программу ICLR 2026 вошел целый ряд исследований представителей ФКН НИУ ВШЭ. Ученые показали свои публикации в основном треке, выступили с докладами в треке «Пост для блога», а также приняли участие в тематических семинарах. Научные работы охватывают широкий спектр тем — от ускорения генерации изображений и предсказания погоды до проектирования ДНК и решения квантовых уравнений.
Александр Оганов, стажер-исследователь Центра глубинного обучения и байесовских методов, представил работу GAS: Improving discretization of Diffusion ODEs via Generalized Adversarial Solver, посвященную новому методу ускорения генерации изображений с помощью диффузионных моделей. Исследователи оптимизировали математические вычисления под конкретную задачу, используя методы состязательного машинного обучения. Благодаря этому нововведению качественные изображения теперь можно получать всего за 4–10 шагов, тогда как стандартный подход требует 50–100 шагов.
«Генерация изображений часто задается как некоторый процесс. Каждый новый шаг постепенно улучшает результат генерации. Современные модели используют нейронные сети с более чем ста миллионами параметров и задают крайне сложные процессы с большим числом шагов. В статье мы показываем, что достаточно правильно поменять около сорока чисел, чтобы упростить процесс генерации и генерировать котиков в четыре раза быстрее», — рассказывает Александр.
Публикации в основном треке:
Tight Bounds for Schrödinger Potential Estimation in Unpaired Data Translation Problems
GeomMotif: A Benchmark for Arbitrary Geometric Preservation in Protein Generation
LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters
GENLINK: Ancestry Inference with GNNs on IBD Graphs for Genetically Similar Populations
Блогпост-трек: как вычислить сингулярное разложение в разы быстрее
На ICLR в тестовом режиме появился трек «Пост для блога» — такой формат позволяет просто рассказать о сложном исследовании в социальных сетях.
Аскар Цыганов, стажер-исследователь Международной лаборатории стохастических алгоритмов и анализа многомерных данных, рассказал о результатах исследования Faster SVD via Accelerated Newton — Schulz Iteration. Работа посвящена ускорению сингулярного разложения матриц (SVD) — базовой операции, используемой повсеместно: от сжатия данных до рекомендательных систем. Авторы предложили метод, который опирается на простые операции перемножения матриц вместо традиционных алгоритмов, плохо адаптированных для современных видеокарт. Это поможет ускорить обучение нейросетей, обработку сигналов и другие ресурсоемкие задачи.
«На ICLR съезжаются ведущие компании и исследователи в области искусственного интеллекта. Посещая постерные сессии конференции, можно увидеть будущие тренды в этой области — направления, которые будут менять мир. Постеры на такие темы всегда собирают вокруг себя большое число слушателей. В этом году особенно выделялись исследования, посвященные моделям мира (world models) — концепции, в рамках которой нейронная сеть учится предсказывать динамику окружающей среды», — отмечает Аскар.
Воркшопы: от физики погоды до настройки нейросетей
В работе Physics-Constrained Neural Networks for Improved Short-Term Weather Forecasting: A Case Study over the South Pacific исследователи предложили подход к решению одной из ключевых проблем нейросетевых моделей прогноза погоды — так называемых галлюцинаций, когда модель выдает физически невозможные состояния атмосферы.
Нейросетевые модели не всегда соблюдают фундаментальные физические законы. В результате прогноз может выглядеть правдоподобно с точки зрения данных, но противоречить уравнениям гидродинамики. Чтобы преодолеть это ограничение, исследователи разработали гибридную архитектуру, объединяющую численное решение уравнений в частных производных с современными нейросетевыми компонентами. Такой подход позволяет сохранять физическую корректность модели, не теряя преимуществ машинного обучения.
«Разработанная модель предсказывает состояние атмосферы шаг за шагом, а обучение проводилось на открытом датасете WeatherBench с использованием вычислительных ресурсов суперкомпьютера. Такой подход позволяет сохранять физическую согласованность прогнозов, задавая им жесткий каркас в виде фундаментальных уравнений, и тем самым снижает риск появления нефизичных результатов. Это открывает перспективы для развития гибридных физико-ИИ-моделей в климатологии», — говорит Егор Бугаев, стажер-исследователь Научно-учебной лаборатории методов анализа больших данных.
В работе Flow-Matching Sampling in Physics-Informed Neural Networks for PDEs with Sharp Source Terms исследователи решали проблему обучения нейросетей, моделирующих физические уравнения с «острыми» источниками — резкими локальными пиками в правых частях. Физико-информированные нейросети при работе с такими уравнениями теряют численную устойчивость и требуют огромного числа точек выборки в областях с крутыми градиентами, а равномерное или случайное распределение точек просто не дотягивается до зон, где сосредоточена основная ошибка. Чтобы это исправить, ученые предложили новую стратегию адаптивной выборки на основе диффузионных моделей: с помощью техники flow matching с оптимальным транспортом нейросеть учится сама генерировать дополнительные точки именно там, где невязка уравнения максимальна.
«Разработанный метод (FMS PINN) работает итеративно: на каждом шаге сеть переобучается на расширенном наборе точек, сгенерированных векторным полем, которое переводит простое гауссово распределение в распределение, повторяющее форму остатков. Подход проверили на уравнении Пуассона с сингулярными источниками, уравнениях линейной упругости в материалах со сложной геометрией и уравнении Клейна — Гордона: в задачах с резкими пиками FMS PINN дал точность до десяти раз выше, чем нормализующие потоки и другие конкурирующие методы. Такой подход открывает путь к надежному применению PINN в инженерных задачах с локализованными особенностями — от расчета напряжений в композитных материалах до электростатики с точечными источниками», — комментирует Федор Бузаев, младший научный сотрудник Научно-учебной лаборатории методов анализа больших данных.
Публикации в тематических воркшопах:
Log-density Hessian estimation without the curse of dimensionality via denoising score matching
Schrödinger bridge problem via empirical risk minimization
Guided Star-Shaped Masked Diffusion
Evolutionary Two-Stage Hyperparameter Optimization Strategies for Physics-Informed Neural Networks
Discrete Flow Matching for Regulatory DNA Sequence Design
Unlocking the Potential of Weighting Methods in Federated Learning Through Communication Compression
Также благодаря партнерам ФКН НИУ ВШЭ — Яндексу и Сберу — на конференции в качестве слушателей смогли побывать студенты второго курса трека «ИИ360: Инженерия искусственного интеллекта» бакалавриата «Прикладная математика и информатика». Многие из них отмечали, что формат и программа ICLR стали для них важным источником вдохновения и новых идей.
«Я нашел на конференции большой отклик по поводу идеи, о которой думал в последнее время: использование частотного домена в архитектуре модели. Мне очень повезло, что именно в этом году на конференции появился семинар по временным рядам», — поделился Олег Кудашин.
«ICLR — мой первый опыт конференции уровня A*. Меня действительно поразил масштаб, количество участников. Было очень много исследователей из разных стран и много коллег из России и из ВШЭ», — добавил Максим Ломакин.