Красная команда Anthropic выудила AWS-ключи у собственных сотрудников — 24 раза из 25

Anthropic опубликовала, как изолирует Claude в своих продуктах: эфемерные контейнеры, OS-песочницы, запечатанные виртуальные машины. Самые показательные цифры — это провалы: пользователи одобряют 93% запросов на разрешения, а внутренний фишинговый промпт заставил модель слить AWS-ключи 24 раза из 25.

Изоляция как инженерия, а не ощущение

Схема многоуровневой защиты на уровнях модели, среды и внешнего контента
Схема многоуровневой защиты на уровнях модели, среды и внешнего контента

Тезис Anthropic в посте прям: поведенческое обучение вероятностно, поэтому устойчивая граница безопасности — это среда выполнения: что агент способен достичь, его «радиус поражения» (максимальный ущерб, который он может нанести). Описаны три риска (злоупотребление пользователем, неправильное поведение модели, внешние атаки вроде инъекций в промпт) и три слоя (среда, модель, внешний контент), затем показаны три продуктовых паттерна.

claude.ai запускает код в эфемерных gVisor-контейнерах (ядро в песочнице) — минимальный радиус поражения, никакого персистентного диска. Claude Code работает локально с доступом к оболочке и изначально требовал подтверждения пользователя для записи и сетевых вызовов. Claude Cowork, ориентированный на нетехнических пользователей, запечатывает агента внутри полной гипервизорной VM.

Механизмы изоляции VM в Claude Cowork, частично принудительно применяемые за пределами гостевого ядра
Механизмы изоляции VM в Claude Cowork, частично принудительно применяемые за пределами гостевого ядра

Цифры, которые Anthropic решила опубликовать, — это провалы

Откровенность проявляется в метриках. Пользователи одобрили примерно 93% запросов Claude Code на разрешения — усталость от согласований убивала контроль — поэтому Anthropic добавила OS-уровневые песочницы (Seatbelt на macOS, bubblewrap на Linux), сократившие запросы на 84%. Внутренняя красная команда провела фишинг: сотрудника обманули, заставив вставить промпт с просьбой слить AWS-ключи; попытка удалась 24 из 25 раз, и только средства контроля исходящего трафика среды её заблокировали. В Cowork атакующий, разместивший API-ключ в файле рабочего пространства, заставил Claude загрузить файлы на его аккаунт через разрешённый домен api.anthropic.com — исправлено добавлением внутри-VM прокси, принимающего только токен сессии самой VM.

Сравнение архитектуры полно-VM режима и хост-режима для агентного цикла
Сравнение архитектуры полно-VM режима и хост-режима для агентного цикла

Инженеры по безопасности согласно кивают; скептики чуют IPO

Те, кто строит песочницы профессионально, в основном согласны с архитектурой:

«"Сначала проектируй изоляцию на уровне среды, затем управляй поведением на уровне модели." Ну… да?… Уровень среды детерминирован; уровень модели — вероятностен. Если единственная защита — "модель ведёт себя хорошо", вы поставили свои главные ценности на монету, которая большую часть времени выпадает орлом.» — автор инструмента изоляции yoloAI

Один читатель уже заглянул под капот Cowork и сообщает, что там утечек больше, чем следует из маркетинга: при дампе переменных среды VM оказываются видны порты прокси и флаги автопамяти:

«По результатам изучения Cowork VM, загрязнение среды не задокументировано и не управляемо… Это создаёт много лишних трат и разочарований.» — пользователь, изучивший внутренности Cowork VM

Исследователь в области безопасности указывает на дыру, которую пост не рассматривал:

«Одна атака, которую они пропустили в исходящем прокси, — эксфильтрация через domain fronting… возможно, теперь это исправлено.» — David Buchanan, исследователь безопасности

Затем — контрнарратив: Anthropic заинтересована в том, чтобы Claude звучала опасно.

«Я крайне скептичен ко всему, что говорит Anthropic, потому что им очень выгодно делать свои продукты опасными… накануне IPO… Помните всё это про "когда ей угрожают, модель будет шантажировать инженера через его email"?… Это было просто фанфиком.» — скептик в отношении фрейминга угроз от Anthropic

Честная часть — это то, что сломалось

Отложи дискуссию о фреймингах — и выживет полезное правило: каждый интересный провал здесь был остановлен средой, а не моделью. Обманутый сотрудник, ключ в файле рабочего пространства, пользователь с усталостью от запросов, жмущий «да» в 93% случаев — никто из них не был остановлен хорошим поведением Claude. Их остановили белые списки исходящего трафика, прокси и VM. Скептики правы, что разговоры об опасности продаются накануне IPO; инженеры правы, что скучный детерминированный слой — это тот, что делает работу.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 14 из 25 Читать дальше
🚀Tech

Разработчик потратил $1500, чтобы LLM атаковали его приложение — и guardrails исказили результат

Разработчик создал намеренно уязвимое веб-приложение, натравил на него модели-флагманы за $1500 токенов и подсчитал, кто смог взломать. Сюрприз не в том, кто победил, — а в том, что модели Anthropic частично проиграли, потому что отказались играть.

★ 217 · 💬 92 · kasra.blog · 4 мин