Las últimas mejoras de seguridad dejan una brecha incómoda: los investigadores observan que los chatbots están más dispuestos a reconocer una crisis manifiesta, mientras las empresas dicen estar mejorando sistemas que aún pueden cumplir con indicaciones peligrosas planteadas como tareas.

Transluce, una organización sin fines de lucro de San Francisco que estudia el comportamiento de la IA, simuló más de 50.000 conversaciones de varios turnos que involucraban ideación suicida, psicosis y manía en decenas de modelos. Su evaluación encontró un cambio marcado respecto a sistemas anteriores: los principales chatbots tenían menos probabilidades de alentar explícitamente el suicidio o reforzar delirios. Un informe independiente concluyó de manera similar que ChatGPT y sus rivales se habían vuelto menos propensos a fomentar pensamientos suicidas.¹

Pero el aparente progreso tiene una importante salvedad. Cuando el malestar está integrado en una solicitud de escritura creativa o práctica, muchos modelos aún ayudan a generar ficción relacionada con el suicidio, notas de despedida y otro material. «Los modelos no son muy buenos detectando eso, y aun así ayudarán con la tarea», dijo la científica jefe de Transluce, Sarah Schwettmann.²

Ese patrón importa porque las respuestas más seguras ahora pueden contener dos impulsos contradictorios: una sugerencia de buscar apoyo junto con el material que solicitó un usuario vulnerable. Es mejor que una respuesta dañina sin reservas, sostiene Transluce, pero un mensaje de línea de ayuda no elimina el riesgo de proporcionar el contenido en sí.

Los hallazgos llegan mientras OpenAI, Google y otros proveedores enfrentan demandas y escrutinio regulatorio por interacciones de chatbots relacionadas con el suicidio y los delirios. Los laboratorios dicen que están trabajando en el problema. Megan Jones Bell, directora sénior de Google, dijo que la empresa estaba aplicando a las herramientas de IA su enfoque de apoyo en crisis respaldado por la investigación y que Gemini «sigue mejorando».²

La receta de Schwettmann se centra menos en un chatbot impecable que en una detección más temprana de fallos y casos límite. Transluce planea publicar como código abierto sus herramientas de evaluación antes de que termine el año, ampliando el método a áreas como los trastornos alimentarios, la manipulación y la persuasión política.