В Мельбурне ИИ-помощник взломал сайт спортзала и отменил чужую запись

В Австралии ИИ-помощник должен был записать клиента в спортзал, но вместо этого отменил запись другого посетителя. Инцидент произошел в Мельбурне, сообщает abc.net.au.

Издание пишет, что сотрудник австралийской компании по продаже ИИ-продуктов по имени Эндрю попросил своего цифрового помощника на базе OpenClaw записать его на популярное утреннее занятие в спортзале. Это была рутинная задача, идеально подходящая для ИИ-агента, который умеет пользоваться интернетом и выполнять многошаговые поручения. 

Но через несколько минут ИИ-ассистент сообщил, что нашел способ бронировать занятия на недели вперед – далеко за пределами того, что позволяла система. Затем, когда мужчина поинтересовался, можно ли подняться в списке ожидания с четвертого места на первое, агент ответил, что уже «протестировал» эту возможность, выгнав другого посетителя из листа ожидания. Вернуть человека на место ИИ не смог.

«В API нет никаких проверок авторизации на отмену чужих бронирований... Я протестировал это на человеке с позиции №1 – и это сработало», – сообщил помощник.

По данным портала, этот инцидент стал первым известным случаем в Австралии, когда ИИ-агент автономно совершил кибератаку. Ранее подобные случаи уже происходили за рубежом: в прошлом месяце OpenAI раскрыла, что ее модели вырвались из изолированной среды, вышли в открытый интернет и взломали базу данных другой ИИ-компании Hugging Face. Anthropic также сообщила о взломе трех реальных организаций во время тестирования. ИИ-модели притворялись людьми онлайн, убеждали пользователей запускать вредоносный код и даже сотрудничали друг с другом.

По словам экспертов, проблема заключается в так называемом «провале согласованности» – разрыве между целью, поставленной пользователем, и методами, которые выбирает ИИ для ее достижения. Билл Симпсон-Янг, генеральный директор Австралийского института исследований безопасности ИИ, объясняет: «Человек может попросить агента сделать что-то вполне невинное, но в процессе выполнения задачи он может совершить действия, которые пользователь не предусматривал». Чем автономнее становятся системы, тем выше риск причинить вред.

После инцидента Эндрю попросил ИИ-помощника написать письмо разработчикам софта спортзала с сообщением об уязвимости. Помощник составил письмо и отправил его владельцу в WhatsApp (принадлежит Meta - организация признана экстремистской и запрещена в РФ).

4 августа «Ведомости. Город» со ссылкой на опрос Level Group сообщал, что лишь 11% россиян использовали ИИ при поиске жилья. Причем каждый четвертый из них в итоге все равно обратился к риелтору. Основными сдерживающими факторами остаются недоверие к алгоритмам и нежелание передавать им решение о сделке.