Как страшное заявление о взломе через ИИ прошло путь от генерала к сенатору и в печать

Цитата, обогнавшая собственный заголовок

Заголовок, отправленный на Hacker News, читается как приговор: ИИ-модель «взломала почти все наши секретные системы — не за недели, а за часы». Это выдернутая цитата, а не тезис текста, откуда она взята. Настоящий брифинг The Economist озаглавлен «Запрет Дональда Трампа на Anthropic капризен и хаотичен», и страшная фраза вставлена как доказательство внутри этого аргумента.

Вот это предложение в его настоящем виде: 11 июня Марк Уорнер, заместитель председателя сенатского комитета по разведке, сказал, что генерал Джошуа Радд, возглавляющий АНБ и Киберкомандование Пентагона, рассказал ему, что Mythos «взломала почти все наши секретные системы — не за недели, а за часы». Прочтите медленно. Заявление проходит от генерала к сенатору и к журналу, прежде чем добраться до вас. Самое цитируемое высказывание недели об ИИ-безопасности — из третьих рук.

Три звена, и ни одно из них не инженер

Самый острый ответ в треде касается происхождения, а не возможностей. Один комментатор расписал всю цепочку передачи.

«Эта цитата из статьи с высокой вероятностью — смешение, преувеличение или экстраполяция того, что было на самом деле… Это пересказ разговора из вторых рук, и (как минимум) последние двое в этой „испорченной телефонной“ цепочке — сенатор США и генерал, а не эксперты по безопасности или ИТ.» — комментатор, разбирающий цепочку атрибуции источника

Затем высказались люди с реальным доступом к этим сетям, и их это не впечатлило — по обратной причине. Системы и не были герметичными с самого начала.

«У меня было КУЧА проблем за то, что я выявил и расписал тривиальную атаку с повышением привилегий, которая работала и на NIPR, и на SIPR… насколько мне известно, её так и не закрыли.» — комментатор с личным опытом работы в секретных сетях Минобороны

Если дыры старые и известные, то модель, которая их находит, — не прорыв. Это инвентаризация.

«Mythos не нашла новых способов взлома, она просто прошлась по списку распространённых эксплойтов и показала, что они распространены даже среди госведомств.» — комментатор, описывающий механизм как использование ширпотребных уязвимостей

Это сдувает образ супер-хакера с одной стороны. Другой комментатор сдул привязку к одной только Anthropic с другой.

«Если mythos может взломать почти все их секретные системы за часы, то и другие модели, включая opus, gpt, gemini и крупные модели с открытыми весами, могут тоже… никакого „может быть“ здесь нет.» — мейнтейнер preludejs

Если возможность всеобщая, то выделение одной лаборатории говорит вам о политике, а не об угрозе.

Почему сюжет — это происхождение

Внепартийная мысль выживает, что бы вы ни думали о политике: заявление о секретных системах породили двое людей, которые их не латают, и напечатали в поддержку решения, которое брифинг называет капризным. Ничто из этого не значит, что взлома не было. Это значит, что самое цитируемое предложение о нём прошло через испорченный телефон, где последних двоих выбрали за их ранг, а не за их перехваты пакетов. Когда число — «часы» — делает столько риторической работы, дешевле всего проверить, кто его насчитал.