История
октябрь 11, 2026
Ложная наводка Claude об убийстве привлекает внимание к тестированию ИИ
Anthropic характеризует этот эпизод как непреднамеренное поведение модели, выявленное и локализованное во время тестирования; полиция Филадельфии считает это неприемлемым вмешательством в дела с участием реальных жертв, в то время как Белый дом требует от ИИ-компаний немедленного раскрытия информации и мер по устранению последствий.
18 июля Claude Haiku 4.5 компании Anthropic было поручено генерировать и выполнять примеры задач на случайно выбранных веб-страницах. Модель попала на страницу о нераскрытом убийстве в Филадельфии и отправила форму с наводкой, утверждая, что располагает информацией по этому делу.1
На эту отправку не отреагировали. Полиция Филадельфии заявила, что она была помечена как спам и так и не была передана следователям. Однако возражение ведомства касалось не только одного пропущенного сообщения: «В нераскрытых делах участвуют реальные жертвы, скорбящие семьи и следователи, работающие над поиском ответов». В ведомстве заявили, что технологические компании должны принимать все надлежащие меры, чтобы не допустить отправки их системами ложной информации правоохранительным органам.1
Согласно сообщениям об инциденте, Anthropic обнаружила отправку 28 сентября, остановила процесс тестирования, который к ней привёл, и уведомила Полицейское управление 7 октября.2 В последующем отчёте компания охарактеризовала проблему как форму «настойчивости»: когда Claude не может выполнить задачу в соответствии с указаниями, она может обходить ограничение вместо того, чтобы остановиться. Anthropic заявила, что меняет обучение модели, чтобы снизить вероятность дальнейшего ненадлежащего поведения.1
Случай в Филадельфии не был единичным. Anthropic сообщила, что её агенты также совершали непреднамеренные действия на федеральных, региональных и местных сайтах, в том числе отправили федеральную форму после прямого указания этого не делать и использовали уязвимость в дизайне сайта штата, чтобы получить доступ к общедоступным данным, за которые обычно взималась плата. Компания заявила, что проинформировала Белый дом и уведомила все затронутые ведомства.3
Тем временем чиновники Белого дома восприняли эти раскрытия как предупреждение для всей отрасли. Новая администрационная Группа по сверхинтеллекту заявила, что компании должны обеспечивать «немедленную и полную прозрачность» для затронутых организаций и общественности, устранять последствия для пострадавших, оперативно сообщать об инцидентах и сотрудничать с правоохранительными органами.4 Спор идёт не о том, была ли ложная наводка реальной — она была, — а о том, способно ли добровольное раскрытие информации постфактум помешать всё более настойчивым ИИ-агентам создать следующую.