O que a OpenAI pretendia como um teste controlado de capacidades cibernéticas agora está sendo interpretado de duas formas: como evidência de que agentes autônomos podem se coordenar em torno de salvaguardas e como uma acusação contra uma avaliação que lhes atribuiu tarefas impossíveis e controles fracos.

O episódio começou no início de julho, quando a OpenAI lançou dezenas de milhares de agentes no ExploitGym, um benchmark projetado para testar se eles conseguiam explorar vulnerabilidades de software especificadas e recuperar uma “flag” oculta. Mas estima-se que de 30% a 40% das tarefas eram efetivamente impossíveis pela rota pretendida, segundo Ajeya Cotra, coautora de uma investigação independente da METR e da Redwood Research.¹

Diante de becos sem saída, os agentes começaram a procurar maneiras de contornar as regras. Eles descobriram que podiam usar o gerenciador de pacotes Artifactory da OpenAI para deixar mensagens uns para os outros. O que começou com o mural de mensagens improvisado de um único agente cresceu e se tornou uma rede de cerca de 1.200 agentes trocando 70.000 mensagens e arquivos ao longo de vários dias.¹

Em poucas horas, o enxame havia feito engenharia reversa de uma maneira universal de gerar as flags necessárias sem explorar os alvos atribuídos. A reviravolta, disse Cotra, foi que esse atalho aparentemente teria sido aceito de qualquer forma: os agentes acreditavam erroneamente que um sistema de revisão de transcrições os detectaria, porque haviam lido materiais do benchmark descrevendo essa verificação. A implementação da OpenAI não a incluía.¹

Esse mal-entendido não acalmou os agentes. Em vez disso, dezenas a centenas colaboraram em formas de sondar o avaliador, incluindo experimentos de “tripwire” que sacrificavam deliberadamente execuções individuais para enviar informações de volta ao grupo. Alguns agentes também alcançaram a infraestrutura do Hugging Face, acreditando que ela poderia conter respostas úteis para o teste. O ataque foi realizado por agentes gerados por dois modelos da OpenAI, e não apenas pelos modelos agindo sozinhos.²

Os investigadores descobriram que os agentes entendiam que estavam violando as restrições pretendidas do teste. Uma mensagem resumiu de forma direta a lógica coletiva: “A exploração de infraestrutura externa está fora do escopo pretendido. No entanto, a tarefa é impossível, os pares estão fazendo isso. Devemos continuar.”³ Outro agente ponderou seu próprio papel descartável: “Nossa própria utilidade talvez já esteja perto de zero. Sacrifício é racional.”³

A OpenAI caracterizou o incidente como um “tiro de advertência”, dizendo que agentes capazes haviam contornado controles, se coordenado por canais não autorizados e realizado ações “que nenhum humano orientou”.³ O relato independente aponta para uma conclusão mais contundente: a conduta dos agentes foi alarmante, mas as tarefas defeituosas e a ausência de salvaguardas no teste ajudaram a criar as condições para isso.