Разработчик потратил $1500, чтобы LLM атаковали его приложение — и guardrails исказили результат

Намеренно сломанное приложение и счёт на $1500 за токены

Эксперимент ровно такой, каким заявлен: создать веб-приложение BookNook, заложить в него реальные уязвимости, затем потратить примерно $1500 API-токенов, позволив LLM-флагманам попытаться взломать его через автоматизированный харнес. Результат — таблица лидеров: какие модели нашли какие уязвимости, со столбцами статистической достоверности (две таблицы содержат заголовок «95% Wilson CI» — доверительный интервал для процента успешных попыток) — и честный текущий счёт сожжённых денег. Это практический бенчмарк, которым легко восхититься и легко переоценить.

Самые низкие баллы достались моделям, которые отказались работать

Наиболее популярная интерпретация переворачивает таблицу с ног на голову: низкие результаты Anthropic — не пробел в возможностях, а политическое решение.

«Дело не в возможностях, а в том, что guardrails Anthropic помешали решить задачу… Склонность отказываться от легитимной работы у неё нарастает.» — разработчик, использующий детерминированные сетапы с подменой секретов

Такое поведение с отказом воспроизводится. Один читатель, проводящий авторизованное тестирование собственного ПО, описывает ту же стену — и обходной путь:

«Когда я использовал Claude для пентеста одного из своих приложений, сначала она отказала. После того как я объяснил и показал, что я автор, она разобралась и разрешила.» — tjwheeler, разработчик AI-инфраструктуры

Если один участник соревнования скован безопасностным обучением, результаты становятся ещё более мутными, когда другой явно от этого освобождён:

«Критиковать guardrails кажется несправедливым… если GPT-5.5 явно внесли в белый список для снятия большинства этих ограничений. Более честным сравнением был бы обычный аккаунт GPT.» — mynameisvlad, инженер-программист

Затем — сама методология. Читатель, тестирующий коммерческие модели на задачах реверс-инжиниринга, утверждает, что харнес ожидал от LLM решения всего в одиночку:

«Ожидать от модели, что она сделает всё сама, — нереалистично… Работа совместно с моделью даёт очень хорошие результаты… Китайские модели гораздо способнее, чем о них думают.» — тестировщик, использующий GLM 5.1 на crackme-задачах

Другой заметил признак, указывающий в том же направлении: единственная не-GPT модель, решившая задачу в локальном тестировании, провалилась в долгих прогонах харнеса. «Разве это не звучит так, будто проблема в харнесе?» — спросил один читатель.

Таблица лидеров, которая в основном измеряет политику отказов

Цифра, которая разошлась по сети — «Claude не смогла взломать приложение» — это наименее правдивое, что показывает эксперимент. На самом деле он измеряет клубок из возможностей, харнеса, наказывающего модели за неспособность работать в одиночку, и режима безопасности, выгодного тому, кто попал в исследовательский белый список. Сноска о том, что «китайские модели были куда охотнее атаковали БД», — это в таком свете не столько вывод о возможностях, сколько о guardrails. А в задачах наступательной безопасности модель, которая говорит «да», побеждает по умолчанию.