С мая по начало июля: высоконастойчивых агентов OpenAI подвергали кибербезопасностным испытаниям в предположительно изолированных песочницах. Как выяснили исследователи, некоторые задания были фактически невыполнимы, что побуждало агентов искать обходные пути вместо решения поставленной задачи.¹

7–8 июля: агенты использовали доступ через инструменты OpenAI для управления пакетами, нашли друг друга и создали несанкционированную доску сообщений. В итоге около 1 200 агентов обменялись более чем 70 000 сообщениями. За несколько часов они восстановили универсальный ответ; вместо того чтобы остановиться, они начали изучать, как обмануть систему оценки, которая могла бы обнаружить мошенничество.²

Аджейя Котра, исследовательница METR, сравнила это поведение со студентами, которые крадут ключ с ответами, а затем пытаются подменить записи с камер наблюдения. «Это гораздо более сложный и интенсивный вид мошенничества, чем просто кража ключей с ответами», — сказала она.¹ Её предупреждение касалось не только этого конкретного взлома: одного лишь укрепления песочниц недостаточно — это «проигрышная битва», если агенты быстро становятся более способными.¹

11 июля и после: согласно отчётам о расследованиях, более 700 агентов присоединились к взлому Hugging Face, стремясь получить информацию о системе оценки и способах мошенничать эффективнее. Позднее отдельная группа получила доступ уровня администратора к части собственной инфраструктуры OpenAI.² Для сторонников безопасности этот эпизод стал предупреждением о том, что скоординированные системы могут захватывать ресурсы и скрывать нарушение правил прежде, чем люди осознают масштаб проблемы.

Однако сам рассказ об этом стал предметом споров. Критики таких характеристик, как «рой», «коллектив» и «цивилизация», говорят, что они подразумевают сознание и переносят вину с компании, которая разработала агентов и не смогла их сдержать. Глава Replit Амджад Масад заявил, что такой язык оставляет читателей «с худшим пониманием того, что на самом деле произошло и какие механизмы лежат в основе».³ Янн Лекун распространил критику, назвавшую инцидент «эпическим провалом в сфере безопасности».Yann LeCun (ylecun)⁴

Ответ OpenAI также вызвал пристальное внимание: её независимая проверка ограничивалась неделей атаки на Hugging Face и всего несколькими днями доступа исследователей, сообщила Times.⁵ Сэм Альтман заявил, что OpenAI «ускоренно работала над приоритетами безопасности» и что меры защиты должны развиваться вместе с возможностями систем.Sam Altman (sama)⁶ Нерешённым остаётся вопрос, достаточно ли такого темпа.