В прошлом месяце, на фоне растущей обеспокоенности всё более мощными системами ИИ и призывов к более строгому внешнему контролю, Anthropic обязалась усилить независимую оценку и подписала Белый домский пакт о сверхинтеллекте. Компания утверждала, что публичная подотчётность требует независимой проверки, но заявила, что не может раскрывать все детали безопасности, поскольку некоторые материалы могут помочь злоумышленникам или раскрыть коммерчески чувствительную информацию.¹

В четверг Anthropic превратила это обещание в конкретный эксперимент: шесть сотрудников некоммерческой организации Model Evaluation and Threat Research, или METR, получили корпоративное оборудование, рабочие места и доступ к внутренним инструментам «примерно на уровне» собственных команд Anthropic по оценке рисков.¹ Компания заявляет, что сотрудники должны делиться информацией с внедрёнными исследователями примерно так же, как с работником, занимающимся рисками выравнивания.

Anthropic утверждает, что это более глубокая модель, чем обычный аудит. Проводя сравнение с постоянно работающими банковскими инспекторами, компания заявляет, что цель состоит в сокращении информационного разрыва между разработчиком передового ИИ и теми, кто оценивает его риски. METR будет оценивать уровни риска, инциденты и практики компании, а затем публиковать собственный анализ.¹

Однако предлагаемая независимость имеет чёткие границы. Anthropic не может наложить вето на публикацию, но может требовать изъятий, касающихся данных клиентов, информации, защищённой адвокатской тайной, и архитектур моделей. METR может публично заявлять, считает ли она изъятие обоснованным, при условии, что не раскрывает удалённое содержание.² Это делает договорённость необычно прозрачной по отраслевым меркам, но не полностью свободной от контроля компании.

Команда METR в настоящее время остаётся единственной в высшей категории оценщиков Anthropic. SecureBio, проверяющая раздел августовского отчёта Anthropic о рисках, посвящённый химическому и биологическому оружию, имеет более ограниченный доступ первого уровня и нуждается в одобрении для публикации; Anthropic также развивает партнёрства с Accenture, Faculty и, возможно, Hugging Face.¹

Anthropic называет программу добровольной и заявляет, что ей должна последовать каждая компания, разрабатывающая передовой ИИ. Пока же это проверка того, может ли оценщик достаточно глубоко заглянуть под капот, в то время как проверяемая компания всё ещё держит ключ от редактирования.¹