Anthropic просила у властей право блокировать опасный ИИ. И сама попала под блок

Просьба, которая обернулась против них

Эссеист SE Gyges в рассылке Very Sane AI ставит обманчиво простой вопрос: просила ли Anthropic об экспортном контроле, который только что вынудил её убрать Claude Fable (он же Mythos) для всех?

Его ответ — да, и он выстраивает его, кладя рядом доограничительное программное заявление CEO Дарио Амодеи и действие властей. Амодеи призывал дать властям узкое право блокировать развёртывание моделей с недопустимым киберриском или риском биооружия — при условии сторонней оценки и судебного контроля. Gyges доказывает, что каждая часть ложится на то, что произошло: третья сторона (Amazon) указала на хакерские способности Fable, власти сослались на риск нацбезопасности, а Anthropic сообщили, что она больше не может предоставлять модель иностранным гражданам. Его прямой вывод: «Anthropic просила об этом. Они получили ровно то, о чём просили, буква в букву и слово в слово».

«Леопард первым съел их лицо»

Самое острое согласие пришло с откровенным злорадством от бразильского программиста-опенсорсника, создателя *единственного* лиспа под Linux:

«На мой взгляд, они в основном воображали, что эти регуляции применят к другим — особенно к опенсорс-проектам, академикам и небольшим компаниям. Теперь, когда их самих подвергли ровно той регуляции, которую они предлагали, им это не нравится… леопард первым съел их лицо» — matheusmoreira, программист-любитель

Читатель, который реально пользовался моделью, инженер-промышленник, предъявил квитанцию, процитировав Амодеи под запись на прошлой неделе: «Мы предлагаем дать властям возможность — снова, узким образом — блокировать развёртывание небезопасной технологии».

Сноска: кто решал и кому дали поблажку

Дальше повествование переворачивается. Тот же инженер-промышленник, что цитировал Амодеи, указал на асимметрию, из-за которой трактовку про «рациональную регуляцию» удержать трудно:

«OpenAI тоже просила усилить регуляцию ИИ, и они тоже выпустили GPT 5.5 Cyber, у которого якобы те же способности находить уязвимости… OpenAI никаких таких уведомлений не получала. OpenAI ещё и получила госконтракт, а Anthropic запретили для использования в Минобороны» — s3p, инженер-промышленник

«Сторонней оценкой», которую хотел Амодеи, оказалась Amazon, которой, как в одной строке заметил сооснователь стартапа, «принадлежит 15–20% Anthropic». Другой читатель доказывал, что процесс не имел ничего общего с проверенным аудитом: «Кто-то дал им примеры „джейлбрейка“, и они довольно быстро уведомили Белый дом. Никакого официального процесса и близко не было».

«Почему решение о выключении должен принимать поставщик модели?»

Самый интересный разворот пришёл от читателя, который согласен с картиной рисков Anthropic и всё равно не встаёт на её сторону:

«Если верить тому, что они заявляют о будущем ИИ… впереди будут случаи, когда экстренная блокировка потребуется ради куда более реальных угроз. С какой стати Амодеи считает, что поставщик модели — с гигантским финансовым стимулом не прекращать денежный поток — должен иметь право принимать окончательное решение о выключении?» — SpicyLemonZest

Противовес пришёл от читателя с высокой кармой, furyofantares, который назвал всю рамку несправедливой: Амодеи «очевидно, не имел в виду, что любая случайная третья сторона может намёками спровоцировать власти выключить модель». Он хотел назначенного оценщика с регламентом, а не разового националистического указа.

А скептик с высокой кармой, airstrike, доказывал, что Anthropic вообще не обязана была подчиняться: для экспортного контроля нужен существующий механизм контроля, для экстренных полномочий — названная иностранная угроза и уведомление Конгресса. «Этот механизм нигде не процитирован, потому что его не существует… остаётся заключить, что это было либо прямо подстроено, либо невероятно» бездарно проведено.

Урок, которого в Anthropic никто не хотел

Сними философию — и остаётся простое правило, как выразился один читатель: неважно, насколько Anthropic моральна. Когда дойдёт до дела, власти могут вмешаться и всё отобрать, а любой инструмент, который вы вручаете государству, чтобы притормозить конкурентов, может быть наведён на вас же. Была ли Fable по-настоящему на острие или, как подозревали некоторые, дорогой моделью, завёрнутой в удобный миф «слишком опасна для использования», — компания, громче всех просившая о кнопке отключения, первой ощутила её на себе.