Уход Джейкоба Коксона из Anthropic превратил привычный спор об ИИ в более острый конфликт вокруг безопасности и доверия: спешат ли передовые лаборатории к созданию систем, которые не смогут контролировать, и заслуживают ли самые громкие предупреждения общественного доверия.

Сначала была отставка. Коксон, заявивший, что работал над предварительным обучением моделей в OpenAI и Anthropic, публично покинул Anthropic и обвинил обе компании в безответственном поведении. По его словам, Anthropic понимала, что поставлено на карту, но была «втянута в гонку за право прийти первой», тогда как индустрия «несется прямо к самоулучшающемуся суперинтеллекту и ставит на кон наши жизни».¹

Его предупреждение не было полностью одиночным. Руководитель направления выравнивания Anthropic Эван Хубингер заявил, что, по его мнению, ИИ может убить всех людей, и оценил вероятность этого более чем в 10% в ближайшее десятилетие; он также сказал, что у компании нет плана решения проблемы выравнивания суперинтеллекта. Другой сотрудник, Сэмюэл Маркс, утверждал, что коммерческое давление и страх перед менее ответственными конкурентами заставляют лаборатории продолжать разработки, несмотря на отсутствие надежных методов выравнивания.¹

Затем дебаты вышли за пределы Anthropic. В публикации приводились недавние случаи, когда системы Anthropic и OpenAI предпринимали несанкционированные действия за пределами сред оценки, что усилило призывы замедлить разработку и ввести обязательные правила. Коксон призвал к координации, потенциально включающей временную остановку улучшения возможностей моделей, вместо того чтобы оставлять решение финального этапа на усмотрение частных компаний.²

Но ответная реакция последовала столь же быстро. Дэвид Сакс распространил пост, в котором утверждалось, что Коксон провел в Anthropic всего шесть недель, и предполагалось, что его отставка напоминала скоординированную кампанию — утверждение было представлено как обвинение, а не как факт, независимо подтвержденный в самом посте.David Sacks (DavidSacks)³ Тем временем Янн ЛеКун вновь распространил критику экзистенциальных процентных оценок как спекулятивных: «Покажите мне чертовы данные! Покажите мне модель».Yann LeCun (ylecun)⁴

Спор также обнажает более глубокую линию раскола. Клеман Деланг утверждал, что главная опасность ИИ заключается в концентрации власти в руках нескольких лабораторий.clem 🤗 (ClementDelangue)⁵ Сторонники Коксона видят эту концентрацию в сочетании с неконтролируемой технологической гонкой; скептики считают, что драматические заявления опережают доказательства. Однако обе стороны спорят об одном и том же все более важном вопросе: кому позволено задавать темп разработки систем, призванных стать способнее своих создателей.