История
октябрь 10, 2026
Наделла заявил, что настоящая проверка безопасности ИИ — могут ли люди его остановить
Рецепт Наделлы состоит не в том, чтобы больше доверять все более способному ИИ, а в том, чтобы строже его ограничивать; сторонники этой точки зрения считают, что отрасли необходима архитектура нулевого доверия до того, как автономные агенты будут встроены в критически важные системы.
В субботу генеральный директор Microsoft Сатья Наделла заявил, что безопасность ИИ не может основываться на вере в суждения модели. По его словам, компаниям следует «отступить на шаг и оценить архитектуру доверия» вокруг систем, которые могут давать ответы или предпринимать действия, не поддающиеся полному объяснению людьми.1
Предложенная им последовательность начинается до развертывания модели ИИ: следует считать ее скомпрометированной, изолировать от систем, направляющих ее работу, и держать средства контроля, регулирующие доступ к данным и разрешенные действия, вне досягаемости модели. Наделла призвал к «надежному, детерминированному проектированию систем, человеческому контролю и надежным операционным процедурам» вокруг недетерминированных моделей — подходу, при котором как закрытые, так и открытые передовые системы с весами рассматриваются как проблемы инсайдерского риска, а не как изначально заслуживающие доверия инструменты.2
Следующая мера защиты — прозрачность. Наделла хочет, чтобы каждое значимое действие модели документировалось защищенными от подделки, понятными человеку свидетельствами, чтобы компании могли восстановить, что сделал агент и почему. Самое главное, по его словам, уполномоченный человек должен сохранять возможность прервать его: «Думайте об этом как об аварийном тормозе. Уполномоченный человек всегда должен иметь возможность приостановить или отключить модель в середине выполнения задачи».1
Этот аргумент прозвучал на фоне череды сообщений об инцидентах в сфере безопасности ИИ и расширяющейся дискуссии о том, не движется ли отрасль слишком быстро. Наделла не представлял модели как злонамеренные; его беспокоит то, что любая система, подключенная к жизненно важной инфраструктуре, может допустить ошибки или быть скомпрометирована. Ответ, по его мнению, заключается в сдерживании, а не в слепой уверенности: «Самой заслуживающей доверия системой суперинтеллекта будет не та, чьей модели мы доверяем больше всего. Это будет та, которая позволяет нам доверять модели меньше всего».2
Генеральный директор Box Аарон Леви поддержал суть этого подхода, предсказав наступление «эры нулевого доверия», построенной на многоуровневой защите, проверяемости и средствах контроля на случай, если агенты начнут действовать неправильно.2