Модель безопасности Anthropic блокирует тех исследователей, ради которых её и сделали

Модель безопасности, которая вздрагивает от слова «безопасность»

Anthropic выпустила Fable — публичную версию своей профильной модели по кибербезопасности Mythos, обёрнутую в ограничители, чтобы та не писала вредоносный код и не помогала с биооружием. TechCrunch сообщает, что при срабатывании фильтра система «ставит чат на паузу и сообщает, что её ‘меры безопасности отметили это сообщение по темам кибербезопасности или биологии’». В этот момент Fable по заложенной логике откатывается на Claude Opus 4.8 (менее способную для задач безопасности модель) вместо прямого отказа.

Жалуются ровно те, ради кого модель безопасности и создана. Валентина Палмиотти из IBM X-Force рассказала TechCrunch, что модель «отклоняет любой запрос, который хоть как-то можно связать с кибербезопасностью. Даже безобидные задачи вроде чтения поста в блоге». Ветеран кибербезопасности Мэтт Суиш описал триггер так: он «основан на ключевых словах, поэтому всё из лексического поля ‘кибербезопасности’ запускает ограничители» — под раздачу попадает и законная работа, например просьба о ревью безопасного кода. Anthropic, отмечает статья, «не ответила сразу на запрос о комментарии», хотя у компании есть Программа кибер-верификации, дающая проверенным специалистам меньше ограничений.

Асимметрия, которая бесит защитников

Тред сформулировал сбой прямо: фильтр останавливает не того.

«Итак, настойчивый злоумышленник переписывает промпт и проходит, а исследователь IBM X-Force, пытающийся прочитать пост в блоге, получает блок. Работает как задумано, видимо.» — разработчик, выпускающий боевых ИИ-агентов

Один из завсегдатаев потянулся за аналогией из мира железа:

«Представьте, если бы AMD или Intel душили ваш процессор, обнаружив, что вы работаете над ‘кибербезопасностью’ или проектируете процессор?» — throwawayffffas

Вопрос про счета, на который в Anthropic никто не ответил

Самый острый вклад был вообще не про безопасность. Он был про деньги и пришёл от человека, мыслящего как бухгалтер:

«Меня не отпускает мысль про учёт и тарификацию при автоматическом понижении. Корректируют ли они цену … так, чтобы по этому тарифу считались только токены … использованные Fable? … Если ответ — нет, можно ли это трактовать как мошенничество?» — _boffin_

Full-stack-инженер с девятилетним стажем заявил, что одной этой подмены достаточно, чтобы уйти:

«Это глупейшая вещь на свете … я рискую получить модель похуже и ещё платить за это? Останусь на Opus, но на этом этапе я уже готов просто вложиться в полностью локальный инференс.» — giancarlostoro

Слово «тихо» делает тут много работы — и его оспаривают

Комментарий с массой голосов обвинил Anthropic в обмане:

«Она не просто отклонит ML-исследование … она тихо саботирует его, используя модель похуже и не раскрывая, что делает это.» — daedrdev

Это вызвало прямые возражения из первых рук, от тех, кто реально упёрся в эту стену:

«когда я триггернул ограничители в Claude Code, она ясно уведомила меня, что переключилась на другую модель (‘что-то там в целях безопасности…’).» — loneboat

«там был переключатель: автоматически понижать вас или просто останавливаться при срабатывании защиты. По умолчанию стояло первое, что не очень здорово, но говорить, что они просто тихо саботируют вас — это комментарий с недобросовестной подачей.» — jaredezz

Так что точная версия уже, чем заголовочное возмущение: Fable действительно понижает модель, действительно сообщает об этом (как минимум в Claude Code), и переключатель по умолчанию делает штатным поведением именно понижение, а не отказ. Уэс Фелтер, который работал в IBM Research, предложил конструктивное прочтение: «Если они смогут обучить классификатор с меньшим числом ложных срабатываний — это было бы здорово.»

Настоящее напряжение в классификаторе, а не в заговоре

Уберите цинизм времён IPO, и останется старая, неромантичная проблема: классификатор почти на ключевых словах с долей ложных срабатываний, достаточной, чтобы заблокировать человека, читающего блог. Для модели, которую продают именно защитникам, цена ложного срабатывания — не раздражение, а провал продукта в его единственной работе. Заплатка, которую Anthropic уже наполовину собрала, это программа верификации для проверенных специалистов. По сути признание: сам по себе ограничитель не отличает исследователя от атакующего.