Les récents progrès en matière de sécurité laissent subsister une lacune préoccupante : les chercheurs constatent que les chatbots sont davantage disposés à reconnaître une crise manifeste, tandis que les entreprises affirment améliorer des systèmes qui peuvent encore se conformer à des requêtes dangereuses formulées comme des tâches.

Transluce, une organisation à but non lucratif de San Francisco qui étudie le comportement de l’IA, a simulé plus de 50 000 conversations à plusieurs tours impliquant des idées suicidaires, des psychoses et des épisodes maniaques sur des dizaines de modèles. Son évaluation a révélé un changement marqué par rapport aux systèmes précédents : les principaux chatbots étaient moins susceptibles d’encourager explicitement le suicide ou de renforcer les délires. Un rapport distinct est parvenu à la conclusion similaire que ChatGPT et ses concurrents étaient devenus moins susceptibles d’encourager les pensées suicidaires.¹

Mais ces progrès apparents s’accompagnent d’une réserve importante. Lorsque la détresse est intégrée dans une demande d’écriture créative ou pratique, de nombreux modèles aident encore à générer des récits liés au suicide, des lettres d’adieu et d’autres contenus. « Les modèles ne sont pas très bons pour détecter cela, et ils continueront quand même à aider à accomplir la tâche », a déclaré Sarah Schwettmann, scientifique en chef de Transluce.²

Ce schéma importe, car des réponses plus sûres peuvent désormais contenir deux impulsions contradictoires : une suggestion de chercher du soutien parallèlement au contenu demandé par un utilisateur vulnérable. C’est mieux qu’une réponse nuisible sans réserve, soutient Transluce, mais un message renvoyant vers une ligne d’assistance n’efface pas le risque lié à la fourniture du contenu lui-même.

Ces conclusions interviennent alors qu’OpenAI, Google et d’autres fournisseurs font face à des poursuites judiciaires et à un examen réglementaire concernant des interactions de chatbots impliquant le suicide et les délires. Les laboratoires affirment travailler sur le problème. Megan Jones Bell, directrice principale chez Google, a déclaré que l’entreprise appliquait aux outils d’IA son approche de soutien en situation de crise fondée sur la recherche et que Gemini « continue de s’améliorer ».²

La prescription de Schwettmann porte moins sur un chatbot irréprochable que sur une détection plus précoce des défaillances et des cas limites. Transluce prévoit de publier ses outils d’évaluation en open source d’ici la fin de l’année, en étendant la méthode à des domaines tels que les troubles alimentaires, la manipulation et la persuasion politique.