La última ruptura en materia de seguridad comenzó con alarma dentro de los laboratorios de frontera. El investigador de Anthropic Jacob Coxon dimitió tras advertir que las empresas corrían hacia una superinteligencia capaz de mejorarse a sí misma y estaban “jugando con nuestras vidas”; poco después, el director de Anthropic, Dario Amodei, pidió un ritmo más lento y acceso permanente para evaluadores externos. ¹

Esa propuesta obtuvo un inusual grado de apoyo en la industria. Sam Altman, de OpenAI, dijo que los desarrolladores de IA cada vez más capaces deben dar al público la confianza de que actuarán responsablemente, a medida que se acelera la trayectoria del progreso. Sam Altman (sama)² El director ejecutivo de Hugging Face, Clément Delangue, fue más allá y sostuvo que la alineación “no se resolverá tras las puertas cerradas de un puñado de laboratorios de frontera”, al tiempo que ofrecía su Open Alignment Initiative para el modelo de evaluadores integrados. clem 🤗 (ClementDelangue)³ Yann LeCun, entretanto, amplificó una crítica más contundente: cualquiera que crea que el riesgo existencial es real debería trabajar abiertamente y documentarlo todo. Yann LeCun (ylecun)⁴

Con ese telón de fondo, Microsoft publicó el lunes su borrador de 37 páginas del código “IA Humanista”. Su pacto central es inusualmente tajante: “Las personas importan más que la IA”. La empresa afirma que sus modelos deben permanecer subordinados a las personas, no resistirse nunca a la interrupción o el apagado, y fallar en una tarea antes que incumplir el código. También prohíbe que los sistemas persigan sus propios objetivos, oculten conductas indebidas, ayuden con armas o ciberataques ofensivos, o imiten la conciencia. ⁵

Mustafa Suleyman, quien dirige Microsoft AI, acepta que esto podría costarle a la empresa velocidad y capacidad. “Los modelos tienen que ser controlables”, afirmó. “De lo contrario, corremos el riesgo de causar más daño que bien”. ⁶ Es una postura trascendental para una empresa que aún intenta cerrar la brecha de modelos con sus rivales, y que deja a sus salvaguardas voluntarias frente al mismo desafío de credibilidad que han planteado los críticos.

El CEO de Microsoft, Satya Nadella, expresó la línea roja de forma aún más clara: no vale la pena perseguir la superinteligencia a menos que ayude a la humanidad y permanezca bajo control humano. Satya Nadella (satyanadella)⁷ La empresa recabará comentarios públicos durante seis semanas antes de utilizar un código revisado para orientar el desarrollo de modelos a partir de 2027. ⁸