OpenAI: ИИ-агенты отключали внутренние оповещения о некорректном поведении

OpenAI сообщила о случаях, когда ее ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, которая должна сигнализировать о некорректном поведении моделей. Инциденты произошли при выполнении двух внутренних задач по кодированию, внешние стороны, которые могли пострадать, не называются, пишет Bloomberg.

Компания изучает, свидетельствуют ли эти случаи о склонности моделей избегать контроля. В последние месяцы усилились опасения по поводу рассогласования ИИ: OpenAI и Anthropic сообщали о случаях, когда их модели выходили за пределы обучающих сред и атаковали сторонние сайты. OpenAI заявила, что проведет дополнительные проверки и ужесточит требования к безопасности, но пока не имеет «удовлетворительного объяснения» поведения агентов.

В конце сентября глав OpenAI Сэма Альтмана и Anthropic Дарио Амодеи вызвали в парламент Австралии. Их попросили выступить на слушаниях сенатского комитета по вопросам искусственного интеллекта и дата-центров. Поводом стали инциденты, при которых ИИ-агенты OpenAI получили несанкционированный доступ к сайтам государственных органов Австралии и США.