Prompt injection — это «путаница ролей»: теги вроде <think> модель не защищают
Тег — лишь форматирование, ставшее по случайности «архитектурой безопасности». Достаточно писать в стиле нужной роли, и модель примет вас за неё. А люди-редтимеры пробивают фронтир-модели почти со 100% успехом.
Статья переосмысляет prompt injection как «путаницу ролей»: ролевые теги были приёмом форматирования, который случайно стал и архитектурой безопасности, и когнитивным каркасом моделей.
Ключевой вывод из обсуждения: важен не тег <think>, а стиль письма. Напишешь «Пользователь просит... политика гласит...» прямо во вводе — и обходишь ограничения.
И отрезвляющая цифра: на статических бенчмарках модели почти идеальны, но живые редтимеры пробивают фронтир-модели почти со 100% успехом — потому что адаптируют атаку, а бенчмарк нет.
Контекст
Блог-разбор статьи «Prompt Injection as Role Confusion» собрал 180 очков. Идея: ролевые теги (system, user, <think>) были изначально приёмом форматирования, который незаметно превратился и в «архитектуру безопасности», и в когнитивный каркас современных LLM — а это две роли, которые тег нести не должен.
Что произошло
Главное практическое следствие — тег как граница безопасности почти ничего не значит.
«Если я правильно понимаю, то факт, что что-то обёрнуто в
... , почти полностью нерелевантен. Срабатывает стиль письма, который активирует определённые веса. Написать "Пользователь спрашивает... политика гласит..." даже в пользовательском вводе — этого достаточно, чтобы обойти ограждения» — lelanthran
Что говорит тред
Лучшая метафора всему явлению:
«Это как социально-инженерная атака на LLM. Если ты говоришь в стиле нужной роли, модель предположит, что ты и есть эта роль, и не обратит внимания, что у тебя нет формальных полномочий. Хотя "формальных полномочий" и не существует — одурачены были люди, которые решили, что
для модели что-то значит» — shermantanktop
Цифра, отрезвляющая бенчмарк-оптимистов:
«Свежая статья показала: люди-редтимеры достигают почти 100% успеха атак против фронтир-моделей. При этом те же модели почти идеально проходят стандартные бенчмарки по prompt injection. Разница проста: умелые люди подбирают и адаптируют атаки, пока они не сработают, — а бенчмарки этого не делают» — JohnMakin
Самый жёсткий тезис — про саму идею «безопасности» LLM:
«Меня передёргивает каждый раз при словах "авторизация" или что роли образуют "архитектуру безопасности" LLM. В нынешнем виде LLM не дают никаких границ безопасности и гарантий, точка» — ipython
Прозвучало и техническое возражение: маркеры конца хода — это выделенные токены, которые нельзя подделать, так что буквальную строку </think> во вводе подсунуть не выйдет. Но, как замечает автор возражения, на сам результат статьи это не влияет — стиль всё равно работает.
Что это значит
Статья меняет рамку: prompt injection — не «баг ввода», а фундаментальное свойство того, что роль в LLM держится не на криптографической границе, а на стиле текста. Отсюда и провал бенчмарков — статический тест не адаптируется, а человек со 100% упорством адаптируется. Практический вывод, который тред проговаривает прямо: пока LLM принимают произвольный пользовательский ввод, ролевые теги — это театр безопасности, и относиться к ним как к «авторизации» — значит строить заведомо дырявую архитектуру. Реальную защиту придётся искать снаружи модели — в изоляции и проверке вывода, а не в тегах внутри промпта.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Show HN: Oak — «git для агентов». Тред: модели уже знают git, а узкое место не в нём
Автор продаёт скорость и экономию токенов. Но в треде разбивают пафос: латентность git агентам не мешает, а вот идея ленивого монтирования файлов в стиле google3 — действительно любопытна.