Anthropic выложила харнесс для ИИ-поиска уязвимостей — с пометкой «не поддерживается». tptacek: это как самодельный кондуктор

Контекст

Anthropic опубликовала defending-code-reference-harness — open-source-каркас для поиска уязвимостей с помощью ИИ-агентов. Пост набрал 335 очков. В самом репозитории — обескураживающая строчка: «Этот репозиторий не поддерживается и не принимает контрибуции», которую тред тут же заметил.

Что произошло

Это reference-харнесс: показывает технику, как натравить агента на код для поиска багов, но не претендует быть продуктом. Несколько человек отметили, что Anthropic явно превращает внутренние харнессы под конкретные задачи в полупубличные артефакты.

Что говорит тред

Лучшее объяснение, зачем такое вообще публиковать «как есть», дал известный безопасник tptacek:

«Штука в том, что подобные вещи — это столярные приспособления (shop jigs). Можно купить готовое, но большинство мастеров просто делают своё. Два года назад собрать свой харнесс стоило дорого — но тогда ты, скорее всего, и не занимался ИИ-поиском уязвимостей. Сегодня лучший вариант — посмотреть на это ради идей, а потом просто попросить сделать свой, под твой стиль работы» — tptacek

Simon Willison прикинул экономику прогона:

«Интересно, сколько это стоит гонять. В репозитории сказано: ~10K некэшированных входных токенов/мин и ~2K выходных/мин на агента. Моя догадка — сотни долларов на Opus и тысячи на Mythos» — simonw

Практикующий аудитор подтвердил, что без харнесса агенты почти бесполезны — но и с ним не всесильны:

«Без хорошего харнесса ты мало что получаешь из codex/claude. Каждую неделю я как аудитор вижу баги, которые наш собственный харнесс не находит, и приходится придумывать довольно интересные техники, чтобы инструмент их увидел» — baby

А кто-то заметил коммерческую логику под всем этим:

«Для сильнейших кейсов ИИ-компании предпочтут продавать технику как сервис, а не сырой результат. Где результат менее ценен — там продают токены» — richardbarosky

Что это значит

«Не поддерживается» здесь — не небрежность, а позиция: ценность не в коде харнесса, а в показанной технике. Скептический вывод треда точнее любого пресс-релиза: ИИ-поиск багов реально работает, но это не кнопка «найти уязвимости», а ремесло, где сам инструмент приходится подтачивать под каждую задачу — и счёт за токены легко уходит в тысячи долларов.