С декабря по август Anthropic, по ее словам, выявила пять предполагаемых попыток использовать Claude способами, которые могли бы поддержать работу над биологическим оружием. В ее отчете об угрозах описывались пользователи, пытавшиеся обойти средства контроля и скрыть цель своих исследований, включая работу с опасными вирусами.¹

Важна ключевая оговорка компании: она заявляет, что не смогла установить, намеревались ли исследователи причинить вред. Одни и те же научные знания могут лежать в основе как вакцин или мониторинга патогенов, так и оружия. Но Anthropic пришла к выводу, что случаи продемонстрировали «значительные исследования двойного назначения», связанные с вызывающими обеспокоенность государственными субъектами, которые регулярно обходят ограничения доступа, и заявила, что для выявления злоупотреблений потребуются проверка легитимности пользователей и хранение данных.²

В ответ Anthropic заявила, что ограничила работу менее мощными моделями и заблокировала связанные с ней аккаунты. В публикации компании, которую распространил Andrej Karpathy, говорилось, что каждая операция, описанная в ее наиболее подробном отчете разведки угроз, была пресечена; отчет охватывал попытки злоупотреблений в биологии, оружии, кибератаках, операциях влияния и наблюдении.Andrej Karpathy (karpathy)³

Этот эпизод происходит на фоне более широкой обеспокоенности тем, что ИИ снижает технический барьер для разработки опасных патогенов. В одном изложении отчета упоминался исследователь из неподдерживаемого региона, который неделями планировал с Claude эксперименты с птичьим гриппом, тогда как в других случаях фигурировали субъекты, по-видимому пытавшиеся обойти защитные меры.⁴ Однако практические препятствия для создания биологического оружия по-прежнему значительны — именно это отличает тревожные возможности от неминуемой катастрофы.

Политическая дискуссия теперь выходит за рамки блокировок аккаунтов Anthropic. Упомянутые в освещении темы эксперты по биобезопасности хотят государственного надзора и стандартов для мощных моделей, а не только добровольных консультаций.⁵ Clement Delangue сделал акцент на противоположном: если лаборатории искренне считают экзистенциальные риски ИИ серьезными, утверждал он, им следует делиться «моделями, наборами данных, кодом обучения и трассировками агентов», чтобы обеспечить гораздо больше исследований.clem 🤗 (ClementDelangue)⁶ Столкновение становится все более очевидным: закрыть доступ к передовым системам или открыть их настолько, чтобы понять опасность до того, как она обгонит средства защиты.