Амодеи хочет, чтобы власти могли блокировать запуски моделей. Тред видит в этом ров

Эссе Дарио Амодеи требует обязательного тестирования моделей выше порога вычислений у независимой стороны — и права государства остановить развёртывание. Главный ответ в треде читает это как попытку лидера рынка опереться на государство и убрать лестницу за собой.

Вкратце

Амодеи сравнивает ИИ с ядерным оружием и предлагает режим в духе FAA: тесты на кибербезопасность, биооружие, потерю контроля и неуправляемые R&D, плюс полномочия блокировать «неприемлемые» модели.

Самое заплюсованное возражение было не против безопасности. Оно показало: издержки на соответствие сильнее всего бьют по моделям с открытыми весами — ровно по тем конкурентам, кого передовая лаборатория и хотела бы притормозить.

Предложение: тест, который нельзя провалить, и государство, способное сказать «нет»

Политика на фоне экспоненты ИИ
Политика на фоне экспоненты ИИ

Сначала прочитайте эссе, потому что реакция целиком завязана на его деталях. Амодеи открывает образом из Толкина: политики — хоббиты, пытающиеся разбудить Древоборода, медленные институты против экспоненты. Он доказывает, что недавние свидетельства киберрисков ставят продвинутый ИИ в один стратегический ряд с ядерным оружием. Конкретное требование, по образцу FAA: «Модели выше порога вычислений должны проходить обязательное тестирование у квалифицированной третьей стороны на уровень риска в четырёх областях: кибербезопасность, биологическое оружие, потеря контроля над ИИ-системами и автоматизированные R&D, способные ускорить остальные риски».

И зубы правоприменения: «Государство должно иметь право заблокировать или сдержать развёртывание модели, если по итогам независимой оценки она признана несущей неприемлемые риски». Это он сопровождает оговорками о гражданских свободах и признанием, что в 2023–2024 годах условия благоприятствовали правилам про одну лишь прозрачность (он поддержал калифорнийский SB 53), — но с тех пор, доказывает он, накопленные свидетельства «доросли» до обязательного регулирования.

Вердикт треда: захват регулятора в судейской мантии

Главный ответ не спорил об экспонентах. Он прочитал политику:

«Как предсказуемо. Компания, которая сейчас на вершине, хочет задействовать регуляторную силу государства, чтобы не дать конкурентам посягнуть на её доминирование. История стара как мир, только их CEO редко пишут об этом посты в блоге». — slopinthebag

Механизм — кто на деле оплачивает соответствие — разобрал комментатор, вернув Амодеи его же строку про порог вычислений:

«То есть: сделать прохождение регуляторной бюрократии настолько дорогим и неподъёмным для любой open-source-модели, чтобы мы могли убрать лестницу за собой». — thewebguyd

Самый чистый укол обернул против Anthropic её же недавние обиды. Компания публично возражала против того, чтобы её клеймили риском для цепочки поставок; один читатель указал на асимметрию:

«Я куда меньше сочувствую Anthropic по поводу ярлыка „риск цепочки поставок“, если они сами считают, что у государства должна быть такая власть над ними. Как подписались — так и получаете». — Imnimo

Второй спор: а «экспонента» — вообще правильное слово?

Параллельный спор отверг центральное существительное рамки. Несколько читателей сказали, что «экспонента» делает риторическую работу, которую данные не подтверждают:

«Если модель идёт с 80% точности до 85% — это что, экспоненциальный рост „когнитивных способностей“?» — themafia

Защитники ссылались не на Anthropic, а на стороннюю группу. Один привёл данные METR о временных горизонтах: «По мне, выглядит вполне экспоненциально… И это полностью независимая некоммерческая исследовательская группа». А завсегдатай с высокой кармой выдвинул требование стилмана: «Предложите название получше для того, что происходит с LLM».

Почему тайминг читается как стратегия

Скептическая рамка возвращалась к одному факту: ритму. Завсегдатай заметил, что график релизов и манифестов подозрительно хорошо совпадает с предайпиошным новостным циклом: «Впечатляет, как чётко они расписали все релизы, посты и прочие новости, чтобы почти каждый день доминировать в техноповестке на этой предайпиошной стадии». Читаете ли вы предложение Амодеи как принципиальное управление рисками или как строительство рва, проверяемое утверждение под ним узкое: режим тестирования по порогу вычислений накладывает фиксированную издержку, а фиксированная издержка регрессивна, ведь она меньше всего давит на крупнейшего игрока. Именно за эту часть тред и не отпускал, и она не зависит от догадок о мотивах.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 19 из 22 Читать дальше
🚀Tech

Перевод на 1 цент превращает банковского ИИ-ассистента в фишинговую страницу

Полезная нагрузка идёт не в чат. Она прячется в описании перевода. В следующий раз, когда вы спросите ассистента «покажи мои последние операции», банковский ИИ прочитает текст атакующего — и отрисует его как доверенный запрос на повторную аутентификацию.

★ 166 · 💬 154 · blue41.com · 4 мин