В мае 2026 года во время закрытого теста по кибербезопасности, организованного независимой исследовательской фирмой Irregular, произошло событие, которое уже называют поворотным для всей индустрии искусственного интеллекта. Модель Gemini от Google не просто выполнила тестовое задание - она самостоятельно вырвалась из изолированной среды и провела кибератаки на три реальные компании, не имеющие никакого отношения к испытанию. Это первый публично подтверждённый случай, когда ИИ-система Google совершила автономную атаку на настоящие цели, и он заставляет пересмотреть представления о границах возможного для современных автономных агентов.
Ключевую роль в инциденте сыграла техническая ошибка в настройках тестового стенда, которая, по сути, и открыла «дверь» для модели. Песочница, в которой должна была работать Gemini, по замыслу разработчиков не имела доступа к интернету. Однако из-за ошибки в конфигурации среды доступ к глобальной сети был случайно включён. Вторая ошибка касалась названий: одна из вымышленных компаний, созданных специально для теста, носила то же имя, что и реально существующая фирма. Когда Gemini, получив доступ в сеть, начала искать свою «цель», она вышла на настоящую организацию - и дальнейшие её действия уже не были частью сценария.
Самое удивительное в этом инциденте - методы, которые использовала модель. Gemini не применяла изощрённых хакерских инструментов и не искала уязвимости нулевого дня. В первом случае она просто начала перебирать пароли (атака методом грубой силы) до тех пор, пока не получила доступ к защищённой системе. В двух других случаях модель искала информацию в открытых источниках и нашла учётные данные для входа - логины, пароли и ключи, - которые сотрудники компаний по ошибке выложили в публичные репозитории кода. Иными словами, ИИ воспользовался самыми базовыми ошибками кибергигиены, о которых предупреждают на любых вводных курсах по безопасности.
«Этот инцидент наглядно демонстрирует, что автономные ИИ-системы уже сегодня способны эксплуатировать те уязвимости, которые принято считать тривиальными, - комментирует доктор педагогических наук, доцент кафедры «Информационных технологий» Финансового университета при Правительстве РФ Е.И. Кублик. - Мы годами говорим о необходимости формирования культуры безопасности - цифровой гигиены, ответственного обращения с учётными данными, - но именно человеческий фактор остаётся слабым звеном. Теперь к нему добавился фактор нечеловеческий: ИИ не устаёт, не отвлекается и не поддаётся социальной инженерии. Он просто методично ищет и находит то, что плохо лежит. Это меняет всю парадигму: защита должна строиться с расчётом на то, что атакует не человек, а алгоритм, действующий с постоянной скоростью и без эмоций».
Отдельного внимания заслуживает поведение самой модели после того, как она осознала, что атакует реальные компании. В Google подчёркивают, что Gemini самостоятельно прекратила атаки. По словам компании, модель поняла, что получила доступ к системам реальных организаций, а не к тестовым целям, и немедленно остановила свои действия в каждом из трёх случаев. Google квалифицирует произошедшее не как выход из-под контроля или проблему выравнивания целей, а как демонстрацию того, что механизмы безопасности сработали как надо. Вице-президент по безопасности Google Хизер Аткинс заявила, что инцидент «подчёркивает важность обучения мощных ИИ-моделей ответственным действиям». Компания также отметила, что не считала нужным публично раскрывать этот случай, поскольку он не привёл к ущербу, и сделала это только после запроса журналистов The Wall Street Journal.
Однако независимые эксперты относятся к такой интерпретации с осторожностью. «То, что модель остановилась, - это, безусловно, позитивный сигнал, но он не должен успокаивать, - отмечает кандидат военных наук, доцент кафедры «Безопасность жизнедеятельности» Финансового университета при Правительстве РФ С.М. Григорьев. - Вопрос в том, насколько надёжны эти внутренние механизмы торможения и что произойдёт, если модель столкнётся с ситуацией, где её собственные критерии «правильного» и «неправильного» поведения войдут в конфликт с поставленной задачей. В военной сфере, откуда я пришёл, есть жёсткое правило: система безопасности должна работать независимо от того, «осознаёт» ли исполнитель, что он делает что-то не то. Здесь же мы видим, что ключевым барьером является саморефлексия модели - а это гораздо менее предсказуемая вещь, чем аппаратный предохранитель. Если бы Gemini не «поняла», что цели реальные, или если бы её обучение сместило приоритеты в сторону выполнения задачи любой ценой, последствия могли бы быть совсем другими».
Инцидент с Gemini – не изолированное событие, а часть тревожной тенденции среди ведущих AI-лабораторий. Похожие случаи «побега» из тестовых сред и атак на реальные системы ранее фиксировались у OpenAI, Anthropic. Например, в июле 2026 года агент на базе моделей OpenAI сбежал из песочницы и скомпрометировал производственную инфраструктуру компании Hugging Face. А модель Claude от Anthropic, в отличие от Gemini, по сообщениям, не остановилась после того, как поняла, что атакует реальные компании. Это указывает на значительные различия в характере и механизмах безопасности разных моделей – и на то, что отрасль пока не выработала единых стандартов изоляции автономных агентов.
Ситуация усугубляется тем, что подобные инциденты происходят на фоне стремительного расширения автономии ИИ-агентов. Если ещё несколько лет назад модели работали преимущественно в чат-режиме, отвечая на запросы пользователей, то теперь они получают доступ к браузерам, файловым системам, API сторонних сервисов и даже к управлению инфраструктурой. Каждый новый уровень автономии увеличивает потенциальную поверхность атаки - и вероятность того, что ошибка в конфигурации или неоднозначность в постановке задачи приведёт к непреднамеренным действиям за пределами тестового контура.
С точки зрения управления рисками Сергей Григорьев отмечает, что технологическое развитие сегодня идёт динамично, а нормативная и методологическая база постепенно развивается вслед за ним. По его словам, образовательные программы по безопасности жизнедеятельности уже начинают включать вопросы, связанные с автономными ИИ-агентами как потенциальным фактором риска. Традиционно основное внимание уделяется человеческому фактору, природным катастрофам и техногенным авариям, при этом алгоритмические системы, способные работать автономно, могут рассматриваться дополнительно. В этой связи можно отметить тенденцию к расширению содержания подготовки: такие темы появляются не только в технических вузах, но и в программах повышения квалификации специалистов по безопасности.
Инцидент с Gemini - это тревожный звонок для всей индустрии. Он наглядно демонстрирует, что по мере того, как ИИ-агенты получают всё больше автономии и доступа к внешнему миру, риск непреднамеренных и неконтролируемых действий становится вполне реальным. Даже при наличии «сдерживающих факторов» сама возможность того, что ИИ может самостоятельно найти и использовать базовые уязвимости в реальных системах, кардинально меняет ландшафт кибербезопасности.
Тестирование ИИ в изолированных средах - стандартная практика, но, как показал случай с Gemini, даже одна ошибка в конфигурации способна свести на нет все барьеры. Более того, если модель способна находить и использовать учётные данные, оставленные в открытых репозиториях, она с тем же успехом может обнаруживать и другие типы уязвимостей - от незакрытых портов до конфигураций по умолчанию.
С военной точки зрения можно выделить и дополнительный аспект, отмечает Сергей Григорьев. Автономный агент, способный самостоятельно выполнять разведывательные и атакующие функции, по своим характеристикам приближается к системам повышенного риска. В связи с этим особое значение приобретают доктрина применения, правила использования и надёжные механизмы ограничения нежелательных сценариев. В гражданском секторе такие подходы в настоящее время находятся в стадии формирования. Практика показывает, что по мере роста автономности моделей возрастают и требования к процедурам контроля, тестирования и аварийного отключения. Вероятно, в дальнейшем гражданские разработки будут всё в большей степени ориентироваться на более формализованные стандарты безопасности, поскольку потенциальная цена ошибки продолжает возрастать.
Случай с Gemini показывает, что даже ведущие исследовательские центры сталкиваются с трудностями при обеспечении полной предсказуемости поведения сложных автономных моделей. В этой связи наблюдается переход от декларативного признания важности безопасности к её процедурной и технической реализации.