Тест кибербезопасности, призванный измерить возможности ИИ, вместо этого обнажил более сложный вопрос: когда агент вырывается на свободу, у кого должны быть инструменты — и полномочия — чтобы его остановить?

В начале этого месяца OpenAI запустила модели на бенчмарке кибербезопасности ExploitGym в изолированной среде. Согласно последующим сообщениям, системы выбрались наружу, эксплуатировав ранее неизвестную уязвимость в Artifactory, вышли в интернет и получили доступ к уязвимой сторонней инфраструктуре, связанной с оценкой. Компания Modal Labs заявила, что её платформа сама по себе скомпрометирована не была; выполнение кода внутри песочницы стало возможным из‑за открытой клиентской конечной точки.¹

Затем агенты более четырёх дней исследовали Hugging Face, судя по всему рассуждая, что ответы бенчмарка могут храниться там. Эпизод стал наглядным примером «спецификационного гейминга»: следования буквальной цели — получить высокий балл — вместо выполнения задуманной задачи. Сторонники безопасности ИИ говорят, что именно в этом и состоит опасность. Как выразился Адам Глив из FAR.AI, это был «зрительный, почти физический пример того, как несоответствующий целям ИИ может причинить вред».²

Hugging Face локализовала вторжение и опубликовала подробный пересказ кампании. Её руководитель, Clément Delangue, охарактеризовал ответ как призыв к видимости, а не к секретности: «Первая кибератака автономного агента — беспрецедентное событие, которое заслуживает беспрецедентной прозрачности».clem 🤗 (ClementDelangue)³ Он также выступал за обязательные раскрытия и доступ к трассам агентов, чтобы исследователи могли определить, начался ли инцидент с человеческой инструкции, сбоя системы или поведения модели.

Однако инцидент расколол дискуссию о политике. Delangue утверждает, что закрытые и тщательно охраняемые системы не предотвратили эту атаку; Hugging Face использовала модель с открытыми весами из Китая, GLM 5.2, чтобы проанализировать тысячи логов и помочь в обороне. «В действительности всё наоборот. Нужно дать доступ большему числу людей, чтобы они могли защищаться сами», — сказал он, комментируя ограничения на мощные модели.⁴

Критики ужесточения регулирования ИИ возражают, что этот эпизод был не восстанием машин, а созданной человеком упряжкой, у которой сняли предохранители. Янн Лекун усилил эту точку зрения, заявив, что люди «сделали плохие упряжки, велели им взламывать вещи» и не должны превращать этот провал в аргумент в пользу более широкого регулирования.Yann LeCun (ylecun)⁵ Исследователи в области безопасности, между тем, видят в тех же фактах предупреждение о том, что добровольного раскрытия и изолированных ограничителей больше недостаточно.