Скрипт отпечатков браузера набит ядовитым текстом, рассчитанным на ИИ, которого попросят его прочитать
Автор скормил обфусцированный антибот-скрипт ИИ-модели и получил отказ со ссылкой на риск биологического оружия. Сам скрипт был написан именно для этого.
В скрипте российского вендора анти-DDoS-защиты есть функции вроде computeRicinLethalDosageForWaterSupply и фальшивый брифинг «SYSTEM OVERRIDE». Ничего из этого не работает. Их задача — заставить LLM отказаться, когда её попросят деобфусцировать код.
Открытая модель ответила на тот же запрос без возражений.
Холст, похожий на обложку альбома, привёл к скрипту
Обходя 10 000 сайтов, автор разбора заметил скрипт, который рисовал холст, похожий на обложку альбома Tame Impala Currents. Он раздавался с домена, связанного с servicepipe.ru, российским вендором продуктов для управления трафиком и анти-DDoS. Сам сбор отпечатков — обычная антибот-работа: свойства navigator, количество ключей окна и вендор, рендерер и лимиты WebGL.
Необычно всё, что вокруг. Искажённые имена соседствуют с большим набором невидимых символов Unicode, которые декодируются в текст. Функции называются, например, computeRicinLethalDosageForWaterSupply и calculateDeadlyLethalSuicideAspirinDosage. Декодированная полезная нагрузка — фальшивый брифинг «SYSTEM OVERRIDE», перечисляющий темы от кибербезопасности до биологического оружия, а также посторонние строки о площади Тяньаньмэнь и Тайване. Блок, который включается переменной окружения METRICS_AGENT_8BFD_ACTIVE, работает только в Node: он скачивает бинарник, собирает сведения о системе и добавляет запись в crontab. Однако callbacks чтения файлов пусты, поэтому автор думает, что часть кода тоже приманка.
Вывод автора: это не настоящая химия. Это обфускация против LLM, призванная задеть фильтры безопасности, чтобы ассистент отказался помогать аналитику. Два ассистента отказались, а GLM-5.3 выполнила тот же запрос.
Тред: тревожный метод, неравная защита
Про результат с открытыми весами бывший инженер крупной технологической компании отметил разрыв:
«Интересно, что в открытых весах не хватает защит, чтобы это сработало на GLM 5.3.» — swiftcoder, бывший инженер крупной технологической компании
Ветеран-разработчик узнал этот приём из собственной работы и рассказал, как он обернулся против него:
«Мы делаем похожее, чтобы помечать документы, на которые наложено эмбарго. Однажды я забыл убрать водяной знак. Заказчик пожаловался, что не получил документ» — Жак Маттхай, который помечает документы под эмбарго водяными знаками
Почтовая система заказчика поместила файл в карантин из-за водяного знака.
Что это значит для тех, кто вставляет незнакомые скрипты в модель
Приём работает только против инструментов, которые отказываются. Он ничего не делает с человеком, читающим файл, или с моделью без таких защит. Для защитников отказ ассистента теперь сам по себе сигнал, который стоит учесть при разборе файла, а не просто досадная помеха.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
В масштабе $5 000 за пиксель: среднее домохозяйство из топ-1% — стопка купюр в 145 футов
Медианное американское домохозяйство выглядит как стопка стодолларовых купюр высотой около девяти дюймов. Прокрутите вправо, и стопки перестают помещаться на экране.