No sábado, o CEO da Microsoft, Satya Nadella, argumentou que a segurança da IA não pode se basear na fé no julgamento de um modelo. As empresas, disse ele, deveriam “recuar e avaliar a arquitetura de confiança” em torno de sistemas que podem produzir respostas ou tomar ações que os humanos não conseguem explicar plenamente.¹

Sua cronologia proposta começa antes de um modelo de IA ser implantado: presumir que ele está comprometido, isolá-lo dos sistemas que direcionam seu trabalho e manter os controles que regem o acesso a dados e as ações permitidas fora do alcance do modelo. Nadella defendeu um “projeto de sistema forte e determinístico, controles humanos e procedimentos operacionais confiáveis” em torno de modelos não determinísticos — uma postura que trata tanto sistemas de fronteira fechados quanto de pesos abertos como problemas de risco interno, e não como ferramentas inerentemente confiáveis.²

A próxima salvaguarda é a visibilidade. Nadella quer que cada ação significativa do modelo seja documentada com evidências à prova de adulteração e legíveis por humanos, para que as empresas possam reconstruir o que um agente fez e por quê. Mais importante, disse ele, uma pessoa autorizada deve manter a capacidade de interrompê-lo: “Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa.”¹

Esse argumento surge em meio a uma série de incidentes de segurança de IA relatados e a um debate cada vez mais amplo sobre se o setor está avançando rápido demais. Nadella não retratou os modelos como maliciosos; sua preocupação é que qualquer sistema conectado a infraestrutura vital pode cometer erros ou ser comprometido. A resposta, em sua visão, é a contenção, e não a confiança cega: “O sistema de Super Inteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permite confiar menos no modelo.”²

O CEO da Box, Aaron Levie, apoiou a essência da abordagem, prevendo uma próxima “era de confiança zero” construída sobre camadas de proteção, auditabilidade e controles para quando os agentes derem errado.²