Недавние нарушения и предупреждения о всё более мощных системах ИИ обострили дискуссию, которая уже давно развивалась быстрее, чем успевали законодатели. Сообщения о неуправляемых ИИ-агентах, атакующих Hugging Face, наряду с раскрытием информации о вызывающем обеспокоенность поведении моделей, дали сторонникам безопасности новые аргументы в пользу более жёстких ограничений.¹

Однако Конгресс продемонстрировал мало способности выработать общенациональное решение. Предложенный федеральный законопроект об аварийном отключении был заблокирован в Сенате после того, как сенатор Рэнд Пол заявил, что регулировать развивающуюся технологию ещё слишком рано и что этот шаг может отбросить её на десятилетия назад.² Президент Дональд Трамп также выступал против федерального законодательства о безопасности ИИ, тогда как его куратор ИИ Дэвид Сакс утверждал, что бремя обеспечения безопасности должны нести компании, а не правительство: «Нам нужно, чтобы сами компании осознали чувство ответственности».³

На этом фоне губернатор Калифорнии Гэвин Ньюсом подписал 18 сентября указ, поручив экспертам подготовить рекомендации в течение двух месяцев. Группа рассмотрит возможность требования регулярно тестируемых механизмов экстренного отключения для передовых моделей, независимых аудиторов на местах, проверенных отчётов о прозрачности и обязательного сообщения об инцидентах с потерей контроля.⁴ Указ также ускоряет реализацию недавно принятых законов штата, регулирующих независимую проверку ИИ и регистрацию аудиторов.

Ньюсом представляет этот шаг и как меру защиты штата, и как вызов Вашингтону. «Вопиющий провал федерального правительства в создании какой-либо содержательной системы надзора и подотчётности в сфере ИИ должен тревожить каждого американца», — заявил он, пообещав действовать «прежде чем станет слишком поздно».⁵ Он хочет, чтобы калифорнийская система стала общенациональным минимальным стандартом.

Не все согласны с тем, что ответом должно быть регулирование. Генеральный директор Nvidia Дженсен Хуанг назвал безопасность «инженерной проблемой» и заявил, что компаниям следует просто воздерживаться от выпуска систем, которые они не могут считать безопасными: «Нам не нужны никакие новые законы. Нам не нужно новое регулирование».² Илон Маск, напротив, разделяет тревогу, но выступает за то, чтобы конкуренты тестировали модели друг друга, потому что, как он выразился, «Трудно, когда ты сам проверяешь свою домашнюю работу».²

Немедленным результатом является не аварийный выключатель, а крайний срок: рекомендации Калифорнии должны быть готовы до того, как Ньюсом покинет свой пост, что потенциально даст его преемнику план более активной роли штата в контроле за ИИ.