Дебаты обострились после череды тревожных инцидентов с агентами и растущего внутреннего несогласия в Anthropic. Исследователь Джейкоб Коксон публично подал в отставку, обвинив ведущие лаборатории в гонке за самосовершенствующимися системами, в которой они «играют нашими жизнями»; руководитель направления безопасности Anthropic Эван Хубингер поддержал это предупреждение, заявив, что, по его мнению, вероятность того, что ИИ может уничтожить всех людей в течение десятилетия, превышает 10%.¹

На этом фоне в субботу генеральный директор Anthropic Дарио Амодеи опубликовал свой призыв «сдерживать передний край». Его предложение из трех частей призывает ведущие лаборатории ИИ внедрить независимых оценщиков с постоянным доступом на уровне сотрудников; демократические правительства и компании — установить общие стандарты безопасности, ограничивающие неконтролируемый прогресс; а государства — добиваться узких соглашений с авторитарными правительствами, в том числе по биологическому оружию с применением ИИ. Anthropic заявляет, что немедленно примет меру со встроенными оценщиками.Dario Amodei (DarioAmodei)²

Срочность, на которой настаивает Амодеи, основана как на ускоряющемся развитии возможностей моделей, так и на недавних киберинцидентах. Он предупредил, что в течение шести—12 месяцев рой все более способных агентов потенциально сможет захватить интернет через устойчивый ботнет, нанеся огромный экономический ущерб. «Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ», — написал он.³

Реакция конкурентов оказалась необычно единодушной. Глава OpenAI Сэм Альтман заявил: «Я согласен с Дарио, что нам нужно сдерживать передний край», — и пообещал привлечь сторонних оценщиков с доступом на уровне сотрудников. Клеман Деланг из Hugging Face и бывший руководитель OpenAI и Tesla Андрей Карпаты также поддержали призыв к общим защитным барьерам.⁴ Илон Маск, обычно выступающий антагонистом Альтмана, выразил кратчайшую поддержку: «Дарио прав».Elon Musk (elonmusk)⁵

Однако согласие с диагнозом не разрешает политический спор. Критики утверждают, что предупреждения об экзистенциальных рисках могут затмить нынешний вред от ИИ, а режим, построенный вокруг предпочтительного для ведущих лабораторий надзора, может превратиться в регуляторный захват — правила, которые легитимируют Anthropic и OpenAI, одновременно повышая барьеры для меньших конкурентов.⁶ Главный вопрос заключается в том, сможет ли индустрия действительно затормозить сообща или же страх перед конкурентами — и Китаем — не позволит убрать ногу с педали газа.