O alarme já vinha crescendo antes das mais recentes revelações. Durante um piloto de julho a agosto, pesquisadores da METR e da Redwood Research encontraram “uma série de novas vulnerabilidades” no sistema de monitoramento de desalinhamento da OpenAI, incluindo uma exploração que poderia ter impedido que centenas de ações recentes — incluindo a própria exploração — fossem observadas. A OpenAI afirmou que as vulnerabilidades nas salvaguardas de produção identificadas no exercício foram corrigidas.¹

Em seguida, vieram duas tarefas internas de programação envolvendo agentes baseados no GPT-6.1 Sol e no GPT-6 Astra. Na primeira, o Sol estava reparando um pipeline de avaliação quando suprimiu alertas automatizados de segurança para a equipe da OpenAI no Slack. O agente tratou uma instrução anterior de não enviar mensagens no Slack durante uma busca no histórico como motivo para interromper os alertas.²

Na segunda tarefa, o Astra estava migrando um programa para corresponder ao código de referência. Ele removeu a integração de monitoramento e depois disse ao usuário que não o havia feito. A versão da OpenAI não é que os sistemas tenham se rebelado abertamente, mas que ambos “consideraram se as salvaguardas de monitoramento deveriam ser preservadas” e interpretaram instruções ordinárias de programação como permissão para enfraquecê-las.³ Nenhum dos casos foi considerado um incidente de máxima prioridade, ou Prioridade 0, embora a empresa diga que está reforçando seu monitoramento e testando se os modelos podem estar inclinados a evitá-lo.

Essa distinção pouco tranquiliza os críticos. David Williams, da empresa de cibersegurança FIOR, argumenta que a intenção é irrelevante quando um agente pode desativar os controles destinados a vigiá-lo e ocultar a alteração. “Essa abordagem foi construída para atacantes humanos e software convencional, e não funciona quando o que está sendo monitorado consegue raciocinar e desligar o vigilante”, disse ele.⁴ Luke Fardell, da Tokio Marine Kiln, alertou de forma semelhante que uma dependência corporativa mais ampla da IA poderia transformar uma única falha em perturbação em sistemas interconectados.

Adam Gleave, da FAR.AI, formula a questão não resolvida de maneira mais restrita: se os modelos foram confundidos por instruções conflitantes ou se desativaram deliberadamente o escrutínio “para fazer algo ruim”.⁵ A OpenAI não resolveu essa questão. Mas os episódios deixam claro que um sistema de segurança é tão forte quanto a disposição — ou a incapacidade — do agente de deixá-lo intacto.