В прошлом месяце генеральный директор Anthropic Дарио Амодеи призвал компании, работающие над передовым ИИ, замедлиться и допустить внешних оценщиков к своим операциям. Компания также подписала Соглашение Белого дома о суперинтеллекте, присоединившись к другим крупным технологическим группам, которые обязались сотрудничать с независимыми аудиторами.¹

В четверг Anthropic выполнила это обязательство, разместив в своих офисах шестерых исследователей из некоммерческой организации Model Evaluation and Threat Research, или METR. У команды есть корпоративное оборудование, рабочее пространство и доступ к внутренним инструментам, «примерно сопоставимые» с теми, которыми располагают собственные сотрудники Anthropic по оценке рисков.¹ Anthropic заявляет, что цель состоит в сокращении информационного разрыва между компаниями, создающими мощные модели, и внешними экспертами, которых просят оценивать их риски.

Позиция лаборатории проста: более мощные модели требуют более тщательной проверки, однако раскрытие всех деталей обучения, вычислений и защитных мер могло бы помочь злоумышленникам или раскрыть коммерчески чувствительную информацию. Компания сравнивает эту схему с постоянными инспекторами, размещёнными в крупных банках для выявления опасного принятия рисков до того, как оно нанесёт вред обществу.¹

Однако METR — не просто внутренняя команда с новой вывеской. Anthropic заявляет, что не может накладывать вето на отчёты группы об уровнях риска, инцидентах и практиках. Она может требовать редактирования лишь по определённым категориям, включая данные клиентов, материалы, защищённые адвокатской тайной, и сведения об архитектуре моделей; METR может публично сообщать, считает ли она такое редактирование обоснованным.¹

Эта оговорка определяет напряжённость вокруг эксперимента. В материалах об объявлении отмечалась обеспокоенность критиков тем, что механизмы работы с оценщиками могут создавать конфликт интересов и оказаться недостаточными по сравнению с государственным регулированием.² Anthropic заявляет, что не финансирует METR, чья работа поддерживается благотворительными и государственными источниками, — такая структура призвана защищать её независимость.²

Компания также создаёт трёхуровневую систему. SecureBio, оценивающая риски, связанные с химическим и биологическим оружием, в настоящее время имеет более узкий доступ и права на публикацию первого уровня, тогда как только METR занимает верхний уровень. Anthropic всё ещё обсуждает партнёрства с организациями, включая Hugging Face, и работает над более широким соглашением с Accenture.³ В результате формируется модель добровольного надзора с беспрецедентным доступом — однако её подлинная достоверность будет зависеть от того, что METR сможет опубликовать.