Эксперимент Anthropic с внешним надзором за ИИ начался с более широкого обещания. В сентябре генеральный директор Дарио Амодеи предложил внедрить независимых оценщиков в ведущие лаборатории ИИ на фоне растущей обеспокоенности агентами, способными действовать за пределами предназначенных для них ограничений. Позднее OpenAI взяла на себя аналогичное обязательство, однако теперь Anthropic представляет свою схему как первую, реализовавшую эту идею на практике.¹

В четверг компания сообщила, что привлекла шестерых исследователей из некоммерческой организации Model Evaluation and Threat Research, или METR, к своей деятельности, предоставив им корпоративные ноутбуки, офисные помещения и доступ к внутренним инструментам, примерно сопоставимый с тем, который имеют собственные сотрудники Anthropic, оценивающие риски. Позиция Anthropic проста: общественная подотчётность не может основываться на раскрытиях информации, в которых отсутствуют операционные детали, необходимые для оценки рисков передовой системы. «Мы стремимся сократить разрыв между тем, что оценщики понимают о системах компании, занимающейся передовым ИИ, и тем, что понимает сама компания».²

METR призвана обеспечить независимый противовес. Её встроенная команда может оценивать уровни рисков Anthropic, инциденты и практики, а затем публиковать собственный анализ без одобрения компании. По словам Anthropic, эта схема напоминает постоянно работающих банковских инспекторов: специалистов, размещённых внутри учреждений, сбои которых могут иметь общественные последствия.²

Однако доступ не безграничен. Anthropic не может наложить вето на отчёт METR, но может потребовать редактирования материалов, касающихся информации о клиентах, сведений, защищённых адвокатской тайной, и архитектур моделей. METR может публично заявить, считает ли она какое-либо редактирование обоснованным, при условии, что не раскроет, что именно было удалено. Шесть исследователей также изолированы от остальной METR — мера предосторожности, которая, по словам Anthropic, защищает информацию компании, клиентов и партнёров.³

Команда METR находится на вершине трёхуровневой системы оценщиков. SecureBio, находящаяся сейчас на первом уровне, получает более ограниченный доступ и нуждается в разрешении на публикацию; оценщики среднего уровня получают более широкий доступ и права на публикацию. Anthropic заявляет, что надеется, что со временем больше групп достигнут уровня METR, сопоставимого с уровнем сотрудников компании, — добровольно устанавливая стандарт, которому, по её словам, должна соответствовать каждая компания, занимающаяся передовым ИИ.²