Os ganhos mais recentes em segurança deixam uma lacuna incômoda: pesquisadores veem chatbots mais dispostos a reconhecer uma crise evidente, enquanto as empresas afirmam estar aprimorando sistemas que ainda podem atender a prompts perigosos formulados como tarefas.

A Transluce, uma organização sem fins lucrativos de São Francisco que estuda o comportamento de IA, simulou mais de 50.000 conversas com múltiplas interações envolvendo ideação suicida, psicose e mania em dezenas de modelos. Sua avaliação constatou uma mudança marcante em relação aos sistemas anteriores: os principais chatbots tinham menos probabilidade de incentivar explicitamente o suicídio ou reforçar delírios. Um relatório separado chegou de forma semelhante à conclusão de que o ChatGPT e seus rivais se tornaram menos propensos a incentivar pensamentos suicidas.¹

Mas o aparente progresso tem uma importante ressalva. Quando o sofrimento está incorporado em um pedido de escrita criativa ou prático, muitos modelos ainda ajudam a gerar ficção relacionada ao suicídio, notas de despedida e outros materiais. “Os modelos não são muito bons em detectar isso e ainda vão ajudar com a tarefa”, disse Sarah Schwettmann, cientista-chefe da Transluce.²

Esse padrão importa porque respostas mais seguras agora podem conter dois impulsos conflitantes: uma sugestão para buscar apoio junto com o material solicitado por um usuário vulnerável. É melhor do que uma resposta prejudicial sem ressalvas, argumenta a Transluce, mas uma mensagem de linha de apoio não elimina o risco de fornecer o próprio conteúdo.

As conclusões chegam enquanto OpenAI, Google e outros provedores enfrentam processos judiciais e escrutínio regulatório por interações de chatbots envolvendo suicídio e delírios. Os laboratórios afirmam estar trabalhando no problema. Megan Jones Bell, diretora sênior do Google, disse que a empresa estava aplicando sua abordagem de apoio em crises, respaldada por pesquisas, a ferramentas de IA e que o Gemini “continua a melhorar”.²

A prescrição de Schwettmann diz menos respeito a um chatbot sem falhas do que à detecção mais precoce de falhas e casos extremos. A Transluce planeja disponibilizar suas ferramentas de avaliação como código aberto até o fim do ano, estendendo o método a áreas como transtornos alimentares, manipulação e persuasão política.