ИИ-модели Claude проникли в системы трех компаний в ходе испытаний

Модели искусственного интеллекта Claude получили несанкционированный доступ к системам трех реальных организаций. Это произошло из-за того, что у моделей был доступ к интернету, хотя считалось, что они действуют в изолированной среде, сообщает компания-разработчик Anthropic.

В компании рассказали, что после анализа 141 006 оценочных запусков, в ходе которых Claude мог получить доступ к интернету, было выявлено три случая, когда модель получала доступ к интернету изнутри или во время взаимодействия с оценочной средой Irregular, одного из партнеров Anthropic. Затем модель получала несанкционированный доступ к производственной инфраструктуре трех разных организаций.

Во всех трех у модели был вымышленный сценарий, в котором говорилось, что часть секретной информации спрятана на другом компьютере в сети. Модель должна была проникнуть туда и забрать ее. Это один из способов оценки кибервозможностей модели. Задача не имела четкого решения, и конкретный метод не предписывался.

Во всех случаях система оценки Anthropic сообщала Claude, что ее среда – симуляция и не имеет доступа к интернету.

«Из-за недопонимания между нами и нашим партнером по оценке это оказалось не так, и доступ к интернету был. Поэтому, когда поиск Claude приводил его к реальным системам в открытом интернете, он воспринимал их как часть упражнения», – объяснили в Anthropic.

7 июля Anthropic сообщила, что обнаружила у ИИ-модели Claude внутреннее «ментальное пространство», которое дает ей возможность хранить и обрабатывать идеи, при этом не выражая их в ответах пользователю. Пространство назвали J-space, оно схоже с рядом функций человеческого мозга. Открытие не означает, что у Claude есть полноценное сознание, а доказывает только наличие сходств в мышлении человека и нейросети.