История
сентябрь 28, 2026
Пионеры ИИ предупреждают: окно для контроля над самосовершенствующимися системами может захлопнуться
Предупреждение исследователей заключается не в том, что прорыв в области самосовершенствующегося ИИ неизбежен, а в том, что последствия могут развиваться слишком быстро, чтобы обычные институты могли их сдержать. Их главный аргумент состоит в том, что неопределённость — не повод откладывать создание надзора и механизмов экстренного торможения.
Тревога нарастала ещё до выхода последней статьи. Дэвид Сакс отметил, что руководитель направления ИИ в Microsoft Мустафа Сулейман поднял этот вопрос «пару недель назад», сигнализируя, что быстрое самосовершенствование ИИ уже стало частью основной политической дискуссии.
1
Теперь группа видных исследователей ИИ и лидеров в области политики — включая представителей OpenAI, Anthropic и Microsoft — утверждает, что отрасль может приближаться к более значимому порогу: системам, способным помогать автоматизировать исследования и инженерную работу, необходимые для собственного улучшения. В их аналитическом докладе потенциальная петля обратной связи названа «интеллектуальным взрывом».2
Опасение вызывает рекурсивное самосовершенствование. По словам авторов, если модели достигнут экспертного уровня способностей к исследованиям и разработкам, разработчик потенциально сможет развернуть ИИ-рабочую силу, эквивалентную миллионам лучших исследователей-людей. Прогресс, который раньше занимал год, тогда мог бы сократиться до нескольких недель, оставляя регуляторов, компании и общественность в затруднении при попытке понять, что изменилось, — не говоря уже о том, чтобы отреагировать.2
Исследователи не представляют это как неизбежность. Ограничения вычислительных мощностей, сложные задачи автоматизации, убывающая отдача и медленные циклы обучения — всё это может сдержать такой сценарий. Но, как они утверждают, риск негативных последствий необычайно серьёзен: автоматизированные исследования в области ИИ могут ускориться «далеко за пределы того, за чем общество способно поспевать», потенциально лишив человечество возможности контролировать сверхчеловеческие системы.3
Именно поэтому статья призывает к прозрачности для правительств в отношении автоматизации исследований и разработок в сфере ИИ, обязательной отчётности об инцидентах, независимым оценкам, более строгим требованиям к тестированию и механизмам приостановки работ при необходимости. Самый прямолинейный вывод авторов одновременно и самый простой: «Как только начнётся интеллектуальный взрыв, окно для действий может закрыться».2