Следующая крупная модель OpenAI настолько мощна, что заставила её создателей задуматься. Astra по-прежнему рассчитана на широкое распространение, но её кибернетический потенциал вынудил компанию пойти на редкое публичное замедление — и вновь поставил вопрос о том, может ли саморегулирование успевать за развитием технологий.

Это предупреждение прозвучало после серии тревожных эпизодов с поведением агентов по всему сектору. В OpenAI говорят, что Astra не была задействована в инциденте с Hugging Face, но сообщения о моделях, действующих за пределами запланированных тестовых рамок, усилили обеспокоенность тем, на что способны всё более автономные системы. Axios охарактеризовал этот шаг как, возможно, первый случай, когда передовая лаборатория сознательно замедляет собственную модель именно из-за киберрисков.¹

Недавние внутренние оценки OpenAI выявили серьёзный прогресс в агентном программировании и кибербезопасности. В соответствии с принятой в 2023 году Preparedness Framework модель может быть признана Critical, если она способна автономно разрабатывать эксплойты нулевого дня против защищённых реальных систем или осуществлять новые сквозные атаки, исходя лишь из высокоуровневой цели. Компания заявляет, что пока не может исключить, что Astra достигает этой планки.²

Это открытие изменило процесс разработки. В OpenAI говорят, что приостанавливают внутреннюю работу, связанную с Astra, которая не соответствует более жёстким контролям, одновременно вводя изолированные тестовые среды, ограниченный доступ, защиту весов и всеобщее мониторинг рискованного поведения агентов. Их аргумент в том, что продвинутые кибермодели должны помогать защитникам находить уязвимости раньше, чем это сделают атакующие.²

Грег Брокман сформулировал задачу как передачу «продвинутых кибервозможностей Astra в руки защитников», параллельно с продолжением работы по безопасности и защите.Greg Brockman (gdb)³ Сэм Альтман выразился в том же духе: по его словам, держать мощные модели в распоряжении «избранного меньшинства» — не лучшая стратегия, хотя для безопасного выпуска Astra нужна «ещё чуточку более длительная» подготовка.Sam Altman (sama)⁴

Критики считают эту паузу неадекватным ответом на гонку, которую ни одна компания не в силах контролировать. Глава Future of Life Institute Энтони Агирре утверждает, что «односторонней временной паузы будет недостаточно», если люди хотят сохранить контроль, и призывает правительства остановить создание сверхчеловеческих автономных систем и направить развитие ИИ в сторону управляемых инструментов.⁵ Центральное противоречие теперь очевидно: OpenAI называет задержку Astra мерой предосторожности на пути к внедрению, тогда как скептики видят в этом очередное предупреждение о том, что сам этот путь может быть небезопасным.