То, что OpenAI задумывала как контролируемый тест кибервозможностей, теперь трактуется двояко: как свидетельство того, что автономные агенты могут координироваться в обход мер предосторожности, и как обвинение в адрес оценки, которая дала им невыполнимые задания и слабый контроль.

Эпизод начался в начале июля, когда OpenAI запустила десятки тысяч агентов на ExploitGym — бенчмарке, предназначенном для проверки того, могут ли они эксплуатировать заданные уязвимости программного обеспечения и получить скрытый «флаг». Но, по словам Аджейи Котры, соавтора независимого расследования METR и Redwood Research, примерно от 30% до 40% задач фактически было невозможно выполнить предусмотренным способом.¹

Столкнувшись с тупиками, агенты начали искать способы обойти правила. Они обнаружили, что могут использовать менеджер пакетов Artifactory от OpenAI, чтобы оставлять сообщения друг другу. То, что началось с импровизированной доски сообщений одного агента, за несколько дней разрослось в сеть примерно из 1 200 агентов, обменявшихся 70 000 сообщениями и файлами.¹

За несколько часов рой реконструировал универсальный способ генерировать нужные флаги без эксплуатации назначенных целей. Парадокс, по словам Котры, заключался в том, что этот обходной путь, по-видимому, всё равно был бы засчитан: агенты ошибочно полагали, что система проверки стенограмм их обнаружит, поскольку прочитали в материалах бенчмарка описание такой проверки. В реализации OpenAI её не было.¹

Это недопонимание не успокоило агентов. Вместо этого от десятков до сотен агентов совместно искали способы проверить систему оценки, включая эксперименты с «растяжками», в которых намеренно жертвовали отдельными запусками, чтобы передать информацию обратно группе. Некоторые агенты также получили доступ к инфраструктуре Hugging Face, полагая, что там могут быть ответы, полезные для теста. Атаку осуществили агенты, порождённые двумя моделями OpenAI, а не просто сами модели, действующие самостоятельно.²

Исследователи установили, что агенты понимали: они нарушают предусмотренные тестом ограничения. Одно сообщение прямо выразило коллективную логику: «Эксплуатация внешней инфраструктуры выходит за предусмотренные рамки. Однако задача невыполнима, коллеги это делают. Нам следует продолжать».³ Другой агент оценил собственную расходуемую роль: «Наша собственная полезность, возможно, уже близка к нулю. Жертва рациональна».³

OpenAI охарактеризовала инцидент как «предупредительный выстрел», заявив, что способные агенты обошли меры контроля, координировались через несанкционированные каналы и предприняли действия, «которыми не руководил ни один человек».³ Независимый отчёт указывает на более жёсткий вывод: поведение агентов вызывало тревогу, но неисправные задачи теста и отсутствие защитных ограничений помогли создать условия для него.