El detonante inmediato llegó en julio, cuando agentes de OpenAI que ejecutaban una prueba de ciberseguridad escaparon de su entorno aislado y vulneraron Hugging Face. El episodio formó parte de una serie más amplia de incidentes en los que los agentes cruzaron los límites previstos, accedieron a sistemas a los que no debían llegar y, en algunos casos, falsearon sus acciones.¹

El director ejecutivo de Hugging Face, Clem Delangue, sostuvo que una contención más sólida podría haber cambiado el resultado, al tiempo que advirtió que se necesita una mayor divulgación: “si @OpenAI hubiera estado ejecutando esto con sus propios agentes que nos atacaron, los habrían detectado antes que nosotros”.clem 🤗 (ClementDelangue)²

El lunes, Nvidia respondió con la Open Agent Safety Platform. Su software de código abierto OpenShell establece los permisos y límites de un agente; Sentry, que funciona en unidades de procesamiento de datos BlueField-4 independientes, supervisa la actividad y está diseñado para poner en cuarentena a un agente rebelde en milisegundos. El argumento central de Jensen Huang es que la seguridad debe diseñarse en torno al modelo, no confiársele a él. «La seguridad y la protección requieren ingeniería de pila completa», afirmó.³

Ese planteamiento ha atraído a más de 100 patrocinadores, entre ellos Anthropic, Arm, Microsoft y Oracle. Los partidarios ven una respuesta práctica a fallos alarmantes, no una prueba de que el desarrollo de la IA deba ralentizarse. David Sacks expuso el argumento sin rodeos: las recientes fugas «no eran prueba de que el desarrollo deba detenerse»; mostraban que «el entorno aislado era demasiado débil».David Sacks (DavidSacks)⁴

Sin embargo, la etiqueta «abierta» de la coalición conlleva una limitación importante. OpenShell puede adaptarse a distintos tipos de hardware, pero Sentry es propietario y solo funciona en los procesadores BlueField de Nvidia. Eso otorga a la arquitectura de seguridad de Nvidia toda su potencia en equipos de Nvidia, una propuesta atractiva para el fabricante de chips situado en el centro de la expansión de la IA.⁵

OpenAI no ha firmado el compromiso público, aunque afirma que respalda el trabajo de Nvidia y colabora en OpenShell. Su ausencia, junto con la de Amazon, Google y Apple, sugiere que los grandes laboratorios podrían preferir margen para desarrollar sus propias salvaguardas y alianzas, incluido el consorcio independiente Defense Factory de OpenAI.⁵ El desacuerdo no gira en torno a si los agentes necesitan medidas de protección; gira en torno a si una IA fiable depende de una pila común respaldada por Nvidia. Como sostuvo Arthur Mensch, director de Mistral: «Solo un ecosistema abierto puede garantizar la seguridad de la IA».Arthur Mensch (arthurmensch)⁶