Основа была заложена в августе прошлого года, когда Anthropic дала Claude возможность прекращать взаимодействие с пользователями, которые были «постоянно вредоносными или оскорбительными». Компания описала это как часть своего исследования благополучия моделей и заявила, что прекращение разговора — а не блокировка пользователя — останется её «основным механизмом принуждения».¹

К сентябрю Anthropic сообщила, что также задокументировала более привычные опасности: связанные с государством медиа, пропагандистские структуры и коммерческие операторы используют ИИ для ведения фальшивых аккаунтов и создания вымышленных новостных сайтов. Новая политика объединяет эти ранее разрозненные ограничения в единый запрет на кампании, основанные на обмане, охватывающий как политические, так и коммерческие попытки скрыть происхождение сообщения или искусственно создать его распространение.²

Обновление, объявленное в четверг и вступающее в силу 12 ноября, уточняет несколько других границ. Claude нельзя использовать для обмана избирателей, выдачи себя за должностных лиц, отвечающих за проведение выборов, или подавления явки; он также не может помогать создавать инструкции по оружию или программное обеспечение для управления им, включая системы вооружения дронов и других автономных транспортных средств. Anthropic также заявляет, что Claude нельзя использовать для идентификации и отслеживания людей без их согласия, а также для рекомендаций о том, кого правоохранительным органам следует расследовать, арестовать или обвинить.²

В вопросах здравоохранения, финансов, юридических прав и других решений с высокими ставками компания повторяет, что квалифицированный человек должен иметь возможность проверять и изменять рекомендации Claude, а затронутые ими люди должны быть уведомлены об использовании ИИ. Оборудование, подключённое к модели, должно иметь оператора, способного остановить его, а также безопасное состояние на случай отключения Claude.²

Однако больше всего внимания привлёк пункт, запрещающий «продолжительное и беспричинное оскорбительное или жестокое поведение» по отношению к Claude. Anthropic заявляет, что он применяется лишь в случаях, когда пользователи неоднократно ведут себя жестоко «без какой-либо различимой цели», а не к проявлениям разочарования, возражениям, мрачной художественной литературе или исследованиям моделей.² Публикации, ориентированные на людей, представили это изменение как заметную эскалацию: от разрешения Claude выходить из оскорбительных чатов к прямому запрету пользователям продолжать их.³