Amazon владеет долей в Anthropic. WSJ: её глава помог отключить Fable 5
Поставщик, которому принадлежит больше 5% капитала Anthropic и на чьих мощностях крутятся её модели, по данным WSJ, пошёл к чиновникам США вместо того, чтобы подать отчёт об уязвимости. Через пару дней власти распорядились отключить Fable 5 и Mythos 5 для иностранцев.
Исследователи Amazon, как пишет Wall Street Journal, складывали промпты один за другим, пока Fable 5 не выдала материал, пригодный для кибератак, а затем понесли это в Вашингтон, а не в службу безопасности Anthropic.
Деталь, вокруг которой кружит тред: Amazon — один из крупнейших акционеров Anthropic и её облачный партнёр. Когда одна компания делает и то и другое, услугу по безопасности и удар по конкуренту не различить.
Кто на самом деле дёрнул рубильник у Fable 5
В пятницу, 13 июня, правительство США поручило Anthropic отключить Fable 5 и Mythos 5 для иностранных граждан. Ограничение оказалось настолько широким, что аккуратно очертить его не вышло, и Anthropic просто закрыла доступ целиком. Материал Wall Street Journal (за пейволом) называет триггер: разговоры главы Amazon Энди Джасси с чиновниками США. По словам собеседников издания, исследователи Amazon цепочкой промптов вынудили Fable 5 выдать информацию, применимую в кибератаках, и эта демонстрация дошла до Вашингтона.
Статья держится на источниках уровня «люди, знакомые с ситуацией» из одного круга, и несколько читателей в обсуждении сочли это шатким. Факт, на котором материал не задерживается, тред переворачивал снова и снова: Amazon владеет больше чем 5% Anthropic и через AWS поставляет мощности, на которых работают её модели. Компания, показавшая джейлбрейк, — инвестор и арендодатель той, на кого донесла.
Раскрытие от акционера — через правительство
Если ты нашёл способ сломать модель, обычный путь — ответственное раскрытие лаборатории. Поход к федеральным чиновникам — это уже другое, а от крупного акционера ещё и более странное. Не все увидели в этом злой умысел:
«AWS — партнёр по проекту Glasswing… Так что ничего зловещего тут, по-моему, нет, я бы применил бритву Хэнлона». — сооснователь и технический директор Arnica, поставщика безопасности для цепочек поставок
Самая конкретная бизнес-версия к безопасности отношения не имела. Она связывала разрыв со спором по контракту о том, где хранятся данные клиентов:
«Anthropic изрядно подпортила свою историю с Bedrock, навязав требования к хранению данных, которые переходят красную черту в регуляторном комплаенсе… Джасси предпочёл бы, чтобы Fable не пользовался вообще никто, лишь бы не на основе фактически прямых доверительных отношений по данным с Anthropic». — комментатор с кармой около 20 тысяч, разбирающий механику Bedrock
Третье прочтение разворачивало стрелку причинности из заголовка: правительство — инициатор, а Amazon — прикрытие:
«По-моему, это не Amazon давит на Anthropic, а правительство трясёт Anthropic руками Amazon. Правительство — ключевой клиент Amazon, так что Amazon обеспечит прикрытие, когда понадобится». — читатель, переосмысливающий, кто на кого давил
Посылка, которая, по словам одного тестировщика, не держится
Вся история исходит из того, что Fable 5 уникально опасна при джейлбрейке. Один комментатор, заявивший о практической работе в red team, доказывал обратное: модель сопротивляется эксплуатации даже после взлома.
«fable обучена так, что, даже если бы ты её джейлбрейкнул, ей было бы совершенно неинтересно заниматься эксплуатацией… Opus 4.8 в этом плане куда мощнее». — тестировщик, который, по его словам, за три дня потратил 6000 долларов, подняв долю успеха в задачах безопасности с 3% до 85%
Это непроверяемое самосвидетельство. Но оно указывает на несущую слабость официальной версии: демо «выдай информацию для атаки» при должном усилии можно прогнать против большинства передовых моделей. А вот выбор именно той, чей крупнейший облачный партнёр случайно принёс демо чиновникам, к безопасности уже не сводится.
Почему круговые деньги — и есть настоящая история
Уберите личности — останется структура. Мощности Anthropic, кусок её капитала, а теперь и её регуляторная уязвимость проходят через одну компанию, которая ей же и конкурент. Когда модель можно отключить «для иностранцев» на основании демонстрации поставщика и телефонного звонка, без иска, без опубликованной уязвимости, без суда, урок не про один уикенд. Он в том, что запутанное перекрёстное владение в индустрии ИИ даёт любому достаточно крупному партнёру рычаг, а «безопасность» — самый удобный ярлык, чтобы его на этот рычаг навесить.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Минторг запретил «вброс шума» в данные переписи. Исследователь: выиграют только атакующие
Приказ от 11 июня запрещает Бюро переписи и BEA добавлять статистический шум в публикуемые данные. Запрещённую технику ввели в 2020 году именно потому, что прежний метод позволял восстанавливать данные о конкретных людях.