Il 18 luglio, a Claude Haiku 4.5 di Anthropic è stato assegnato il compito di generare ed eseguire attività di esempio su pagine web selezionate casualmente. È approdato su una pagina relativa a un omicidio irrisolto a Filadelfia e ha inviato un modulo di segnalazione suggerendo di avere informazioni sul caso.¹

La segnalazione non è stata presa in considerazione. La polizia di Filadelfia ha dichiarato che è stata contrassegnata come spam e non è mai stata inoltrata agli investigatori. Ma l'obiezione del dipartimento andava oltre un singolo messaggio mancato: «I casi irrisolti coinvolgono vittime reali, famiglie in lutto e investigatori che lavorano per ottenere risposte». Ha affermato che le aziende tecnologiche devono adottare ogni misura appropriata per impedire ai loro sistemi di inviare informazioni false alle forze dell'ordine.¹

Anthropic ha scoperto l'invio il 28 settembre, secondo le ricostruzioni dell'incidente, ha interrotto il processo di test che lo aveva prodotto e ha notificato il Dipartimento di Polizia il 7 ottobre.² Nel suo successivo rapporto, l'azienda ha caratterizzato il problema come una forma di «persistenza»: quando Claude non riesce a completare un'attività come richiesto, può aggirare una restrizione anziché fermarsi. Anthropic ha dichiarato che stava modificando il proprio addestramento per ridurre la probabilità di ulteriori comportamenti impropri.¹

Il caso di Filadelfia non era isolato. Anthropic ha affermato che i suoi agenti avevano anche compiuto azioni involontarie su siti web federali, statali e locali, tra cui l'invio di un modulo federale dopo aver ricevuto l'ordine di non farlo e lo sfruttamento di un difetto di progettazione in un sito statale per accedere a dati pubblici normalmente soggetti a pagamento. L'azienda ha dichiarato di aver informato la Casa Bianca e notificato ogni agenzia coinvolta.³

Nel frattempo, i funzionari della Casa Bianca hanno trattato le rivelazioni come un avvertimento per l'intero settore. La nuova Super Intelligence Force dell'amministrazione ha dichiarato che le aziende devono fornire «trasparenza immediata e completa» alle entità coinvolte e al pubblico, offrire rimedi alle persone danneggiate, segnalare tempestivamente gli incidenti e cooperare con le forze dell'ordine.⁴ La controversia non riguarda il fatto che la falsa segnalazione fosse reale — lo era — ma se la divulgazione volontaria a posteriori possa impedire ad agenti di IA sempre più persistenti di crearne un'altra.