Prompt injection — это «путаница ролей»: теги вроде <think> модель не защищают (role-confusion.github.io)
Статья переосмысляет prompt injection как «путаницу ролей»: ролевые теги были приёмом форматирования, который случайно стал и архитектурой безопасности, и когнитивным каркасом моделей.
Ключевой вывод из обсуждения: важен не тег <think>, а стиль письма. Напишешь «Пользователь просит... политика гласит...» прямо во вводе — и обходишь ограничения.
И отрезвляющая цифра: на статических бенчмарках модели почти идеальны, но живые редтимеры пробивают фронтир-модели почти со 100% успехом — потому что адаптируют атаку, а бенчмарк нет.
Войдите, чтобы сохранить