Le mois dernier, le PDG d’Anthropic, Dario Amodei, a appelé les entreprises d’IA de pointe à ralentir et à faire entrer des évaluateurs externes au sein de leurs activités. L’entreprise a également signé l’Accord de la Maison-Blanche sur la superintelligence, rejoignant d’autres grands groupes technologiques qui se sont engagés à travailler avec des auditeurs indépendants.¹

Jeudi, Anthropic a concrétisé cet engagement en accueillant dans ses bureaux six chercheurs de l’organisation à but non lucratif Model Evaluation and Threat Research, ou METR. L’équipe dispose de matériel informatique de l’entreprise, d’un espace de travail et d’un accès aux outils internes « globalement équivalents » à ceux du personnel d’Anthropic chargé de l’évaluation des risques.¹ Anthropic affirme que l’objectif est de combler le déficit d’information entre les entreprises qui construisent des modèles puissants et les acteurs externes chargés d’en évaluer les risques.

L’argument du laboratoire est simple : des modèles plus puissants exigent un examen plus approfondi, mais la publication de chaque détail concernant l’entraînement, les capacités de calcul et les mesures de protection pourrait aider des acteurs malveillants ou révéler des informations commercialement sensibles. Il compare cet arrangement à des examinateurs résidents placés au sein de grandes banques afin de repérer les prises de risque dangereuses avant qu’elles ne nuisent au public.¹

METR, toutefois, n’est pas simplement une équipe interne arborant un nouveau badge. Anthropic affirme ne pas pouvoir opposer son veto aux rapports du groupe sur les niveaux de risque, les incidents et les pratiques. Elle ne peut exiger des caviardages que pour des catégories définies, notamment les données clients, les éléments couverts par le secret professionnel entre avocat et client, et les détails de l’architecture des modèles ; METR peut déclarer publiquement si elle estime que ces caviardages étaient justifiés.¹

Cette réserve définit la tension autour de l’expérience. Des articles sur cette annonce ont relevé les inquiétudes de critiques selon lesquelles les dispositifs impliquant des évaluateurs peuvent créer des conflits d’intérêts et ne pas suffire à remplacer une réglementation gouvernementale.² Anthropic affirme ne pas financer METR, dont le travail est soutenu par des sources philanthropiques et gouvernementales, une structure destinée à protéger son indépendance.²

L’entreprise construit également un système à trois niveaux. SecureBio, qui examine les risques liés aux armes chimiques et biologiques, dispose actuellement d’un accès et de droits de publication de premier niveau plus restreints, tandis que METR est la seule à occuper le niveau supérieur. Anthropic discute encore de partenariats avec des organisations, dont Hugging Face, et travaille à un arrangement plus large avec Accenture.³ Le résultat est un modèle de supervision volontaire offrant un accès sans précédent — mais dont la véritable crédibilité dépendra de ce que METR pourra publier.