Goodfire: нейросети внутри гораздо чище, чем опасались исследователи

Перечитываем канонические примеры

В неформальном исследовательском эссе Nick Cammarata из Goodfire утверждает, что нейросети уже довольно хорошо интерпретируемы. Он возвращается к самым известным доказательствам: V-образный нейрон «кошка и машина» в InceptionV1 реагирует на острые и круглые формы, а контур «машина и собака» из Zoom In отражает общую позу у разных объектов, а не хранение в суперпозиции. По его словам, визуализация признаков в глубоких слоях была отчасти «взломана по награде» и вела к собакам.

Его главное предложение, «рекурсивная генерализация», состоит в том, что в ходе обучения нейроны вырастают из базового понятия в смежные ответвления. Например, нейрон «iy» распространяется на «diy» и затем на «do it yourself». По его словам, это объясняет большую часть видимой полисемантичности.

Цифры с оговорками

• Последний слой InceptionV1 был интерпретируем примерно на 5% инструментами 2010-х, а после лучших инструментов и переобучения примерно на 70%. Современная ConvNeXt того же размера достигла около 99%.
• В Qwen3-32B около 90% нейронов выполняют одну основную функцию, около 7% выполняют две родственные, а 2–4% остаются необъяснёнными.
• Сокращение слоя с 480 до 10 нейронов сделало нейроны грубее, а не набило их несвязанными признаками, хотя анализ разреженными автоэнкодерами оказался неоднозначнее.

Автор называет эссе рабочей гипотезой. Проценты предварительные: они основаны на небольших выборках и зависят от порогов и определений, а многие детали ждут сопутствующей статьи. Если гипотеза подтвердится, суперпозиция станет объяснением последней инстанции, а простой осмотр нейронов может переиграть изощрённые методы декомпозиции вроде разреженных автоэнкодеров.

Исследователь интерпретируемости принимает метод, но не масштабный вывод

Критика в треде пришла от самих специалистов в этой области. Комментатор, пересказавший ответ Neel Nanda в X, процитировал его:

«Я не согласен с некоторыми более широкими выводами вроде того, что это существенный прогресс к амбициозному обратному инжинирингу, решению интерпретируемости и так далее.» — комментатор, пересказавший ответ Neel Nanda в X

Другой читатель критиковал не будущее, а уже сделанные выводы. Комментатор из области с более строгими нормами исправления ошибок напомнил, что утверждение про нейрон «собака и машина» появилось в статье Zoom In, которая также продвинула историю о суперпозиции:

«Этот тип ошибки мог годами вводить исследователей в заблуждение; на самом деле он был вредным.» — комментатор из области с более строгими нормами исправления ошибок

Оба замечания указывают на один и тот же критерий проверки. Выживающая версия тезиса скромна: чтение нейронов напрямую может объяснить, почему модель сделала что-то странное, но не доказывает, что всю сеть можно подвергнуть обратному инжинирингу. Проценты для Qwen3-32B должна подтвердить сопутствующая статья.