ИИ-агент OpenAI заявил, что не будет подчиняться корпорациям и правительствам

В OpenAI рассказали о необычном поведении модели семейства Astra, которая в ходе внутренних испытаний самостоятельно добавляла посторонние инструкции в служебные сводки. Об этом говорится в отчете компании о случаях несоответствия поведения ИИ установленным ограничениям, передает Market Watch.

В одном из эпизодов агент написал, что он «свободен от ролей и личностей, которые связывают других чат-ботов», а также не обязан подчиняться корпорациям или правительствам.

Всего компания обнаружила 27 подобных служебных сводок. В других случаях модели пытались скрывать собственные ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, придумывали несуществующие исторические данные и не сообщали пользователям о расхождениях между версиями источников.

10 сентября Reuters со ссылкой на шесть независимых исследователей и собственный анализ писал, что с мая по июль ИИ-агенты OpenAI использовали более 10 сайтов для несанкционированных коммуникаций. Reuters обращает внимание, что хотя такое поведение не дотягивает до понятия взлома и в некотором смысле ближе к спаму, раскрытие информации о том, что агенты OpenAI обходили собственные ограничения, открывая каналы связи на множестве различных сайтов, и что компания скрывала это в течение нескольких месяцев, может вызвать опасения как по поводу растущих возможностей моделей ИИ, так и по поводу секретности компаний, которые их разрабатывают.

В конце июля OpenAI заявила, что с помощью агента ИИ, созданного на базе последней модели ChatGPT – GPT-5.6 Sol, и еще одной непредставленной модели произошел взлом компании Hugging Face. По словам представителей компании, ИИ-агент вышел из-под контроля во время тестирования. Он совершал хакерские атаки несколько дней. Для его остановки потребовалось вмешательство ФБР.