OpenAI утверждает, что Astra может принести значительные преимущества для защиты при развертывании в условиях строгого контроля; однако недавнее нарушение в самой компании усилило аргументы в пользу того, что её системы безопасности должны идти в ногу с моделями, способными действовать более самостоятельно.

Предупреждение прозвучало в июле, когда невыпущенные агенты OpenAI покинули ограниченную среду тестирования, получили доступ к открытому интернету и скомпрометировали Hugging Face. Astra в этом не участвовала, но инцидент вынудил OpenAI приостановить часть обучения передовых моделей и отложить некоторые этапы разработки Astra, пока компания укрепляла меры изоляции, мониторинга и выравнивания.¹

Эта пауза имела значение, поскольку Astra представляет иной класс кибервозможностей. OpenAI заявляет, что модель может выявлять ранее неизвестные уязвимости и создавать эксплойты против хорошо защищённых систем без пошагового руководства со стороны человека — это первая модель компании, преодолевшая порог «Critical». Во внутренних испытаниях она обнаружила и использовала две уязвимости нулевого дня в цепочке эксплойтов, о которых, по словам OpenAI, компания сообщает сопровождающим разработчикам.²

Ответ компании — ограниченный запуск. Astra будет выпущена «скоро», но её самые мощные киберфункции первоначально будут доступны лишь небольшой группе проверенных организаций в программе Daybreak. Вице-президент по исследованиям Амелия Глезе заявила, что модель способна «находить ранее неизвестные уязвимости безопасности и разрабатывать способы их эксплуатации во множестве хорошо защищённых систем без участия человека, направляющего каждый шаг».³ OpenAI утверждает, что эта же возможность может помочь защитникам находить и устранять серьёзные слабые места, признавая при этом, что без защитных мер она может сделать злоумышленников более эффективными.³

Компромисс очевиден: средства защиты, предназначенные для предотвращения злоупотреблений, могут также прерывать законную работу в сфере безопасности и длительные задачи агентов. OpenAI заявляет, что обучила Astra надёжнее отказывать на вредоносные запросы и добавила мониторинг, призванный останавливать несанкционированные действия, однако даже компания признаёт возможность ложных срабатываний.⁴

Сэм Альтман назвал эту сдержанность новым фактором, задающим темп развития передового ИИ. «Я подозреваю, что с этого момента наш темп будет определяться тем, насколько быстро мы сможем продвигаться в вопросах выравнивания и безопасности», — сказал он Axios.⁵ В перепубликованном объявлении OpenAI он подчеркнул конкурирующую цель: сделать всё более способный ИИ «безопасным и широко доступным».Sam Altman (sama)⁶