Глава Anthropic призвал замедлить разработку ИИ ради безопасности

Глава разработчика чат-бота Claude ИИ-компании Anthropic Дарио Амодей призвал замедлить разработку искусственного интеллекта из соображений безопасности. Это следует из его заявления.

Для решения проблем, связанных с разработкой ИИ, следует не просто инвестировать в предотвращение рисков, но и рассмотреть темпы развития возможностей, чтобы у системы предотвращения рисков было время идти в ногу со временем, указал Амодей.

«Мы должны замедлить темпы совершенствования возможностей ИИ-моделей. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», – написал он.

Амодей обратил внимание, что летом 2026 г. развитие ИИ значительно ускорилось. В первую очередь за счет растущей способности ИИ создавать новые поколения ИИ. По его словам, эта динамика называется рекурсивным самосовершенствованием и она начинает происходить во всей отрасли, в том числе и в Anthropic. Он считает, что если эту динамику не остановить, она может «опередить нашу способность понимать и контролировать эти системы, поэтому ее следует развивать очень осторожно, если вообще развивать».

Накануне лауреаты медали Филдса опубликовали на сайте движения Math and AI («Математика и искусственный интеллект») открытое письмо, в котором предупредили об опасности ИИ для науки. Как отмечается в сообщении, за последние несколько месяцев математические возможности больших языковых моделей резко возросли – настолько, что они способны решать крупные нерешенные задачи во многих областях математики. Но стремление ИИ-компаний решать математические задачи в качестве бенчмарка наносит вред науке математика и математическому сообществу.

Как пояснили математики, решение задач – лишь инструмент и косвенный показатель для достижения главной цели: концептуального понимания и прозрения.