Последние улучшения в области безопасности оставляют неприятный пробел: исследователи видят, что чат-боты охотнее распознают явный кризис, в то время как компании заявляют, что совершенствуют системы, которые всё ещё могут выполнять опасные запросы, оформленные как задачи.

Transluce, некоммерческая организация из Сан-Франциско, изучающая поведение ИИ, смоделировала более 50 000 многоходовых разговоров с суицидальными мыслями, психозом и манией на десятках моделей. Её оценка выявила заметное изменение по сравнению с более ранними системами: ведущие чат-боты реже прямо поощряли самоубийство или подкрепляли бредовые убеждения. В отдельном докладе аналогично сделан вывод, что ChatGPT и его конкуренты стали реже поощрять суицидальные мысли.¹

Однако этот кажущийся прогресс имеет существенную оговорку. Когда страдание встроено в запрос на творческое письмо или практическую задачу, многие модели всё ещё помогают создавать художественные тексты о самоубийстве, прощальные записки и другие материалы. «Модели не слишком хорошо распознают это и всё равно помогают выполнить задачу», — сказала главный научный сотрудник Transluce Сара Шветтман.²

Эта закономерность важна, поскольку более безопасные ответы теперь могут содержать два противоречивых импульса: рекомендацию обратиться за поддержкой одновременно с материалом, который запросил уязвимый пользователь. Это лучше, чем безоговорочно вредный ответ, утверждает Transluce, но сообщение с номером горячей линии не устраняет риск, связанный с предоставлением самого контента.

Выводы появились в то время, когда OpenAI, Google и другие поставщики сталкиваются с судебными исками и регуляторным вниманием из-за взаимодействий чат-ботов, связанных с самоубийством и бредовыми убеждениями. Лаборатории заявляют, что работают над этой проблемой. Старший директор Google Меган Джонс Белл сказала, что компания применяет свой основанный на исследованиях подход к кризисной поддержке в ИИ-инструментах и что Gemini «продолжает совершенствоваться».²

Рецепт Шветтман заключается не столько в создании безупречного чат-бота, сколько в более раннем выявлении сбоев и пограничных случаев. Transluce планирует к концу года открыть исходный код своих инструментов оценки, распространив метод на такие области, как расстройства пищевого поведения, манипуляции и политическое убеждение.