L’expérience d’Anthropic en matière de supervision externe de l’IA a commencé par un engagement plus vaste. En septembre, le directeur général Dario Amodei a proposé d’intégrer des évaluateurs indépendants au sein des laboratoires d’IA de pointe, dans un contexte d’inquiétudes croissantes concernant des agents capables d’agir au-delà des garde-fous qui leur sont destinés. OpenAI a ensuite pris un engagement similaire, mais Anthropic présente désormais son dispositif comme le premier à mettre cette idée en pratique.¹

Jeudi, l’entreprise a déclaré avoir intégré six chercheurs de l’organisation à but non lucratif Model Evaluation and Threat Research, ou METR, à ses activités, en leur fournissant des ordinateurs portables de l’entreprise, des espaces de bureau et un accès aux outils internes globalement comparable à celui dont disposent les propres équipes d’Anthropic chargées de l’évaluation des risques. L’argument d’Anthropic est simple : la responsabilité publique ne peut pas reposer sur des informations qui omettent les détails opérationnels nécessaires pour évaluer les risques d’un système d’IA de pointe. « Nous visons à combler l’écart entre ce que les évaluateurs comprennent des systèmes d’une entreprise d’IA de pointe et ce que l’entreprise elle-même comprend. »²

METR est censée fournir le contrepoids indépendant. Son équipe intégrée peut évaluer les niveaux de risque, les incidents et les pratiques d’Anthropic, puis publier sa propre analyse sans l’approbation de l’entreprise. Le dispositif ressemble à celui des inspecteurs bancaires résidents, selon Anthropic : des spécialistes placés au sein d’institutions dont les défaillances pourraient avoir des conséquences pour le public.²

L’accès n’est toutefois pas illimité. Anthropic ne peut pas opposer son veto à un rapport de METR, mais elle peut exiger des suppressions concernant des informations sur les clients, des éléments protégés par le secret professionnel entre avocat et client, ainsi que les architectures des modèles. METR peut indiquer publiquement si elle considère qu’une suppression est justifiée, à condition de ne pas révéler ce qui a été retiré. Les six chercheurs sont également cloisonnés du reste de METR, une mesure de protection qui, selon Anthropic, protège les informations de l’entreprise, de ses clients et de ses partenaires.³

L’équipe de METR se situe au sommet d’un système d’évaluateurs à trois niveaux. SecureBio, désormais au premier niveau, reçoit un accès plus restreint et doit obtenir une approbation pour publier ; les évaluateurs du niveau intermédiaire bénéficient d’un accès plus large et de droits de publication. Anthropic affirme espérer que davantage de groupes atteindront à terme le niveau de METR, comparable à celui d’un employé — établissant volontairement une norme que, selon elle, toute entreprise d’IA de pointe devrait respecter.²