Anthropic раскрыла новые способы злоупотребления ИИ

Модель искусственного интеллекта Claude пытались использовать в кибератаках, шпионаже, пропагандистских кампаниях и разработке вооружений, причем злоумышленники стремились применять ИИ как автономного координатора операций. Об этом сообщили в компании Anthropic.

Компания представила отчет о случаях злоупотребления моделью с декабря 2025 г. по август 2026 г. В ходе атак Claude помогал взламывать системы и переписывать вредоносный код для обхода защитных механизмов. Модель также применялась при создании программного обеспечения для управляемых ракет и других систем вооружения. Кроме того, Anthropic зафиксировала попытки использовать ИИ для массовой слежки, информационных кампаний и распространения пропаганды.

Особую обеспокоенность компании вызвало применение Claude в биологических исследованиях. В частности, модель использовали для изучения мутаций и механизмов, позволяющих опасным вирусам адаптироваться к иммунитету. Anthropic усилила ограничения для современных моделей, однако признала, что одних защитных фильтров недостаточно.

10 сентября Anthropic обвинила китайские ИИ-компании Moonshot AI и DeepSeek в тайном перенаправлении запросов своих пользователей в Claude, выдавая полученные результаты за ответы собственных моделей. Moonshot AI, создавшая семейство моделей Kimi, направляла клиентские запросы в Claude вместо их обработки собственной моделью. Пользователям при этом показывались полученные ответы как результаты работы Kimi. Anthropic утверждает, что в одном из случаев Moonshot за десять дней перенаправила почти 300 000 запросов через сеть из 5380 учетных записей, большинство из которых находились в Сингапуре и Японии. Похожую практику Anthropic обнаружила у DeepSeek.

5 сентября Reuters писал, что США намерены предложить Китаю сотрудничество в отслеживании кибератак, совершаемых с использованием ИИ. Этот вопрос станет одним из ключевых на первых двусторонних переговорах по ИИ, запланированных на середину сентября.