El sábado, el CEO de Microsoft, Satya Nadella, sostuvo que la seguridad de la IA no puede basarse en la fe en el criterio de un modelo. Las empresas, dijo, deberían «dar un paso atrás y evaluar la arquitectura de confianza» en torno a sistemas que pueden producir respuestas o realizar acciones que los humanos no pueden explicar plenamente.¹

Su cronograma propuesto comienza antes de que se implemente un modelo de IA: asumir que está comprometido, aislarlo de los sistemas que dirigen su trabajo y mantener los controles que rigen el acceso a los datos y las acciones permitidas fuera del alcance del modelo. Nadella pidió un «diseño de sistemas sólido y determinista, controles humanos y procedimientos operativos fiables» en torno a modelos no deterministas, una postura que trata tanto a los sistemas de frontera cerrados como a los de pesos abiertos como problemas de riesgo interno, en lugar de herramientas inherentemente fiables.²

La siguiente salvaguarda es la visibilidad. Nadella quiere que cada acción significativa del modelo se documente con pruebas a prueba de manipulaciones y legibles por humanos, para que las empresas puedan reconstruir qué hizo un agente y por qué. Lo más importante, dijo, es que una persona autorizada debe conservar la capacidad de interrumpirlo: «Piénselo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo a mitad de una tarea».¹

Ese argumento surge en medio de una serie de incidentes de seguridad de IA reportados y un debate cada vez más amplio sobre si el sector avanza demasiado rápido. Nadella no presentó a los modelos como maliciosos; su preocupación es que cualquier sistema conectado a infraestructura vital puede cometer errores o verse comprometido. La respuesta, en su opinión, es la contención en lugar de la confianza ciega: «El sistema de Superinteligencia más fiable no será aquel cuyo modelo más confiemos. Será aquel que nos permita confiar lo menos posible en el modelo».²

El CEO de Box, Aaron Levie, respaldó el enfoque general, al predecir una próxima «era de confianza cero» basada en capas de protección, auditabilidad y controles para cuando los agentes se equivoquen.²