Генеральный директор Anthropic Дарио Амодеи превратил и без того ожесточённую дискуссию о безопасности в конкретное требование: компании, занимающиеся передовым ИИ, должны намеренно замедлить темпы, с которыми они повышают возможности своих моделей.

В эссе, опубликованном в субботу, Амодеи утверждал, что увеличивать расходы на меры защиты уже недостаточно, поскольку ИИ всё лучше помогает создавать собственных преемников. «Мы должны замедлить темпы, с которыми улучшаем возможности моделей ИИ», — написал он, утверждая, что дополнительное время позволит исследованиям в области согласования и безопасности наверстать упущенное.¹ Он предупредил, что неконтролируемый прогресс может превзойти способность человечества понимать и контролировать эти системы.²

Непосредственное обязательство Anthropic — предоставить независимым оценщикам постоянный доступ к своим системам на уровне сотрудников, включая возможность оценивать практики безопасности и сообщать об инцидентах. Амодеи представил это как первую часть трёхэтапного плана: внешний надзор, общие стандарты среди компаний в демократических странах и в конечном счёте координация с авторитарными правительствами по узко определённым угрозам. Он сам объявил об этом шаге в X.Dario Amodei (DarioAmodei)³

Срочность обусловлена растущей обеспокоенностью инцидентами в сфере безопасности ИИ-агентов и публичной отставкой исследователя Anthropic Джейкоба Коксона, который заявил, что ведущие лаборатории «играют нашими жизнями» в гонке к самосовершенствующемуся сверхинтеллекту.⁴ Амодеи предположил, что замедление даже на один или два года могло бы существенно снизить вероятность катастрофы.²

Реакция конкурентов оказалась на редкость сочувственной. Глава OpenAI Сэм Альтман заявил, что согласен с необходимостью регулировать темпы развития передового ИИ, а Илон Маск выразил прямую поддержку: «Дарио прав».Elon Musk (elonmusk)⁵ Тем временем Дэвид Сакс заявил, что Anthropic и OpenAI должны двигаться вперёд именно потому, что они составляют «дуополию» в сфере передового ИИ.David Sacks (DavidSacks)⁶

Однако кажущийся консенсус скрывает острый спор. Критики риторики об экзистенциальных рисках утверждают, что соглашение о безопасности, возглавляемое двумя крупнейшими лабораториями, может обернуться регуляторным захватом, а не значимой защитой общества.⁷ Кроме того, план Амодеи сталкивается с самым серьёзным испытанием за рубежом: он признаёт, что американские компании не могут бесконечно сдерживать себя, если китайские разработчики продолжают продвигаться вперёд, поэтому контроль над чипами и ограниченные соглашения между США и Китаем имеют ключевое значение для любого осуществимого замедления.²