Тревога усилилась на прошлой неделе, когда бывший исследователь Anthropic Джейкоб Коксон ушёл в отставку, обвинив Anthropic и OpenAI в том, что они «несутся прямиком к самосовершенствующемуся суперинтеллекту и играют нашими жизнями».¹ Этот спор поставил в центр ИИ-бума острый вопрос: можно ли доверять компаниям, создающим всё более мощные системы, также нажимать на тормоза?

В субботу генеральный директор Anthropic Дарио Амодеи ответил призывом «задавать темп на переднем крае». По его словам, растущая способность ИИ помогать создавать модели-преемники, наряду с инцидентом с агентами OpenAI и Hugging Face, сделала традиционные инвестиции в безопасность недостаточными. Согласно его наихудшему прогнозу, рой более способных агентов мог бы захватить интернет через устойчивый ботнет в течение шести—12 месяцев, причинив огромный ущерб.²

План Амодеи — не заморозка. Он начинается с постоянного доступа независимых оценщиков на уровне сотрудников — шаг, который Anthropic, по её словам, предпримет немедленно, — затем переходит к общим стандартам среди передовых лабораторий в демократических странах и, в конечном счёте, к ограниченной глобальной координации.Dario Amodei (DarioAmodei)³ Его аргумент строится на том, чтобы выиграть один-два года для того, чтобы согласование, тестирование и интерпретируемость успели догнать развитие возможностей.

Реакция была поразительно двухпартийной по меркам Кремниевой долины. Сэм Альтман из OpenAI заявил, что согласен с необходимостью задавать темп на переднем крае, и пообещал сопоставимый доступ для внешних оценщиков. Позднее он подчеркнул, что задавать темп «не означает „останавливаться“», и утверждал, что конкурентное давление не должно позволять возможностям опережать согласование и мониторинг.⁴ Илон Маск выразил прямую поддержку: «Дарио прав».Elon Musk (elonmusk)⁵

Но у формирующегося консенсуса есть жёсткие пределы. Дэвид Сакс заявил, что OpenAI и Anthropic — которых он назвал дуополией в области передового ИИ — могут замедлиться, если захотят, не требуя общественного разрешения или предпочтительной нормативной базы.David Sacks (DavidSacks)⁶ Другие критики предупреждают, что такие договорённости могут превратиться в регуляторный захват, защищая крупнейшие лаборатории и представляя коммерческую осторожность как защиту общества.⁷

К воскресенью Амодеи назвал самое серьёзное препятствие для предложения: Китай. Глобальное ограничение скорости могло бы быть желательным, сказал он, однако военные стимулы вырваться вперёд делают его достижение чрезвычайно трудным.⁸ Отрасль пришла к редкому согласию относительно опасности; превратить это согласие в проверяемую сдержанность — гораздо более трудная гонка.