OpenAI назначила Пола Кристиано, бывшего сотрудника и одного из наиболее известных в этой области исследователей выравнивания, в советы директоров как компании, так и её некоммерческого фонда. Это решение приближает специалиста по проблеме согласования мощных систем ИИ с интересами людей к механизмам формального надзора организации.¹

Кристиано работал в OpenAI с 2017 по 2021 год, возглавляя исследования выравнивания и участвуя в разработке обучения с подкреплением на основе обратной связи от людей, или RLHF — метода, используемого для направления моделей с помощью человеческих предпочтений. После ухода он основал Alignment Research Center и был старшим техническим советником федерального Center for AI Standards and Innovation.¹

Новая роль — не просто церемониальная. Кристиано войдёт в Комитет по безопасности и защите совета OpenAI Foundation вместе с председателем Зико Колтером; этот комитет определяет практики безопасности в коммерческой компании. Брет Тейлор, председатель совета директоров OpenAI, заявил, что Кристиано помог сформировать область выравнивания ИИ благодаря работе, сосредоточенной на «самых сложных вопросах, которые ставят всё более способные системы».¹

Кристиано представил назначение как ответ на расширяющийся технический вызов. «Возможности ИИ очень быстро развивались в последний год, а выравнивание остаётся сложной технической проблемой», — сказал он, добавив, что работа комитета становится «важнее и сложнее, чем когда-либо».¹

Руководство OpenAI публично приветствовало его возвращение. Сооснователь Грег Брокман написал: «добро пожаловать, @paulfchristiano!», одновременно подчеркнув роль фонда в управлении безопасностью.Greg Brockman (gdb)² Генеральный директор Сэм Альтман назвал работу Кристиано в области безопасности ценной и заявил, что «рад снова работать вместе».Sam Altman (sama)³

Назначение, вероятно, будут рассматривать и через более пристальный внешний взгляд: другой источник назвал Кристиано «видным ИИ-думером», что отражает обеспокоенность более тревожного лагеря тем, что рост возможностей опережает надёжные меры защиты.⁴ OpenAI же сигнализирует, что этим опасениям место внутри её структуры управления, а не на её периферии.