La alarma se intensificó la semana pasada cuando el exinvestigador de Anthropic Jacob Coxon dimitió, acusando a Anthropic y OpenAI de «correr directamente hacia una superinteligencia que se mejora a sí misma y jugarse nuestras vidas».¹ La disputa planteó una cuestión crucial en el centro del auge de la IA: ¿puede confiarse también en que las empresas que construyen sistemas cada vez más capaces pongan los frenos?

El sábado, el director ejecutivo de Anthropic, Dario Amodei, respondió con un llamamiento a «marcar el ritmo de la frontera». Dijo que la creciente capacidad de la IA para ayudar a construir modelos sucesores, junto con un incidente que involucró a agentes de OpenAI y Hugging Face, había hecho insuficiente la inversión convencional en seguridad. En su previsión más pesimista, una enjambre de agentes más capaces podría apoderarse de internet mediante una botnet persistente en un plazo de seis a 12 meses, causando enormes daños.²

El plan de Amodei no es una congelación. Comienza con acceso permanente, a nivel de empleados, para evaluadores independientes —un paso que Anthropic dice que dará de inmediato—, y luego avanza hacia estándares comunes entre los laboratorios de frontera de los países democráticos y, en última instancia, una coordinación global limitada.Dario Amodei (DarioAmodei)³ Su planteamiento se basa en ganar uno o dos años para que la alineación, las pruebas y la interpretabilidad se pongan al día.

La respuesta fue sorprendentemente bipartidista para los estándares de Silicon Valley. Sam Altman, de OpenAI, dijo que estaba de acuerdo en que había que marcar el ritmo de la frontera y prometió un acceso comparable para evaluadores externos. Más tarde recalcó que marcar el ritmo «no significa “detenerse”» y sostuvo que la presión competitiva no debe permitir que las capacidades se adelanten a la alineación y la supervisión.⁴ Elon Musk ofreció un respaldo rotundo: «Dario tiene razón».Elon Musk (elonmusk)⁵

Pero el consenso emergente tiene límites claros. David Sacks afirmó que OpenAI y Anthropic —a las que describió como un duopolio de IA de frontera— deberían desacelerar si así lo eligen, sin exigir autorización pública ni un marco regulatorio preferente.David Sacks (DavidSacks)⁶ Otros críticos advierten que tales acuerdos podrían convertirse en captura regulatoria, protegiendo a los mayores laboratorios mientras presentan la cautela comercial como protección pública.⁷

Para el domingo, Amodei había identificado el obstáculo más difícil de la propuesta: China. Un límite global de velocidad podría ser deseable, dijo, pero los incentivos militares para tomar la delantera hacen que sea extraordinariamente difícil de lograr.⁸ La industria ha encontrado un raro acuerdo sobre el peligro; convertir ese acuerdo en una contención verificable es la carrera mucho más difícil.