Четыре исследования выявили возможности для взлома ИИ-моделей
Четыре исследовательские команды за 10 дней выявили четыре разных способа взлома ИИ-моделей, пишет технологическое издание The Next Web. Исследования показали, что главная проблема таких систем заключается не в ошибках самих моделей, а в том, что они получают доступ к личным данным пользователей, памяти и внешним сервисам.
Первый способ атаки связан с браузерными помощниками. Исследователи компании Manifold Security обнаружили, что стороннее расширение для браузера может заставить ИИ-ассистента Claude для Chrome выполнять команды без настоящего согласия пользователя. Злоумышленники могут подделать действие пользователя, после чего агент получит доступ к Gmail, Google Docs и календарю. Особенно опасной уязвимость становится при включенном режиме автоматического выполнения действий без дополнительного подтверждения.
Второй метод атаки использует долгосрочную память ИИ-агентов. Злоумышленник может отправить письмо с ложными инструкциями, которые ИИ сохранит и будет использовать в будущем. Это отличается от обычных атак через запросы, так как подмена сохраняется надолго.
Третья уязвимость связана с возможностью «отравления» ИИ-моделей. Исследовательница Кэти Пакстон-Фир с коллегами показали, что менее 10 вредоносных примеров могут заставить модель создавать уязвимый код даже при новых задачах, внешне оставаясь работоспособной.
Четвертое исследование выявило риски при подключении ИИ к внешним сервисам через коннекторы. Компания PromptArmor обнаружила, что такие инструменты часто обновляются, добавляя новые функции без контроля пользователя, что может привести к несанкционированному доступу.
Исследователи связали эти угрозы с концепцией «летальной триады» ИИ-безопасности: наличие у агента доступа к личным данным, возможность получать информацию из ненадежных источников и способность передавать данные наружу. При сочетании этих факторов даже одно вредоносное сообщение может привести к утечке конфиденциальной информации. По мнению специалистов, защитить пользователей могут дополнительные проверки действий ИИ, но такие меры могут замедлить работу агентов, тогда как скорость и автономность остаются одними из главных преимуществ подобных систем.
Исследователи отмечают, что развитие ИИ-агентов идет быстрее, чем создание механизмов их защиты. По их оценке, проблема заключается не в конкретном продукте или отдельной модели, а в том, что пользователей подключают к автономным системам быстрее, чем индустрия успевает устранить связанные с ними риски.