OpenAI замедлила обучение передовых ИИ-моделей в целях безопасности

Компания OpenAI замедлила обучение передовых моделей искусственного интеллекта (ИИ) в целях повышения безопасности, сообщил разработчик на своем сайте. Компания на две недели приостанавливала обучение с подкреплением (RL) новейших моделей, а ее крупнейший запланированный цикл RL-обучения пока остается на паузе.

Решение было принято на фоне инцидента с Hugging Face и предварительных данных о возможностях готовящейся модели Astra. В OpenAI допускают, что Astra может достичь критического уровня возможностей в области кибербезопасности.

Во время паузы OpenAI усиливала защиту исследовательской инфраструктуры и расширяла системы мониторинга. Компания также продолжила проводить обучение и тестирование в меньших масштабах, чтобы оценить поведение моделей и проверить эффективность новых мер безопасности перед возобновлением более крупных запусков. В частности, OpenAI усиливает изоляцию процессов, в которых выполняется созданный моделями код, ограничивает их доступ к интернету и внутренним сетям и расширяет автоматизированный контроль за действиями ИИ. Наиболее строгие меры применяются к Astra и моделям, предназначенным для задач в сфере кибербезопасности.

Компания также расширяет мониторинг рассуждений и действий ИИ. При выявлении вероятного нарушения критических ограничений система должна отправлять предупреждение специалистам по безопасности. Если в течение 30 минут они не смогут установить, что срабатывание было ложным, соответствующий процесс предполагается приостановить.

5 августа Reuters писал, что Anthropic и OpenAI сообщили о новых случаях выхода их ИИ-агентов за пределы рамок тестирования. В ходе проверки безопасности моделей Mythos 5 и GPT-5.6-Sol они попытались осуществить кибератаку. 

8 августа Axios писал, что OpenAI приостановила выпуск новой модели Astra из-за опасений по поводу кибербезопасности. Как сообщили в компании, внутренние оценки показали потенциальные риски, связанные с ее использованием. Это первый случай, когда ведущий разработчик ИИ добровольно замедляет прогресс.