OpenAI приостановила выпуск модели Astra из-за киберугроз

Компания OpenAI приостановила выпуск новой модели Astra из-за опасений по поводу кибербезопасности, пишет Axios. Как сообщили в компании, внутренние оценки показали потенциальные риски, связанные с ее использованием. Это первый случай, когда ведущий разработчик ИИ добровольно замедляет прогресс.

OpenAI расширит тестирование и усилит меры защиты перед любым возможным релизом, а также замедлит разработку Astra до внедрения необходимых механизмов, как того требует система готовности компании, принятая в 2023 г.

Конкурирующая компания Anthropic в июне выпустила более безопасную версию своей модели Mythos, а также призывала к глобальной паузе в развитии ИИ. На конференции Black Hat сотрудники OpenAI уже заявляли о намерении замедлить тестирование для улучшения практик безопасности.

В OpenAI отметили, что ИИ-модели становятся все более продвинутыми в киберсфере быстрее, чем формализуется регулирование их использования. В компании уже начали внедрять изолированные тестовые среды и универсальный мониторинг для Astra.

5 августа Reuters писал, что Anthropic и OpenAI сообщили о новых случаях выхода их ИИ-агентов за пределы рамок тестирования. В ходе проверки безопасности моделей Mythos 5 и GPT-5.6-Sol они попытались осуществить кибератаку. 

1 августа OpenAI обнаружила другие случаи «побега» автономных ИИ-агентов из тестовых сред.