Собственный эксперимент Anthropic: с ИИ запомнили 50%, без него — 67%

Исследование из самой ИИ-лаборатории — против тренда

Материал Nature о том, разрушает ли ИИ человеческие навыки (архивная копия), открывается экспериментом, неудобным для индустрии: его провела сама индустрия. Исследователи Anthropic организовали рандомизированное контрольное испытание: 52 инженера-программиста получили базовую задачу, у всех одинаковый доступ в интернет и одинаковые инструкции. Половине дополнительно предложили воспользоваться ИИ-ассистентом.

Потом все прошли тест на усвоенное. Цифры, которые тред цитировал дословно:

Авторы сопоставляют это с более ранними исследованиями когнитивного «аутсорсинга»: GPS притупляет чувство пространства, автоматизация убивает навык, который перестают тренировать. Вопрос: отличается ли код от арифметики?

«Они потеряли буквально все свои навыки»

Самый цитируемый комментарий пришёл изнутри крупной технологической компании, и речь там не о тесте:

«Два старших инженера в моём отделе (FAANG), которые больше всех занимаются вайб-кодингом, потеряли буквально все свои навыки. Их код стал ужасным, а профессиональное суждение — ещё хуже.» — инженер, отказавшийся от LLM для собственного кода

Продакт-менеджер, прочитавший исследование целиком, оспорил дизайн теста, но признал главное:

«Большинство инженеров в принципе ничему не учатся на базовой задаче... Конечно, бывают случаи, когда атрофия навыков опасна... Если делегируешь столько, что теряешь способность оценивать качество работы, то уже не можешь эффективно делегировать вообще.» — PM, который сам потерял навыки SQL, но сохранил навык написания спецификаций

Эта оговорка перевернула дискуссию. Один из читателей сжал всё в одно предложение:

«Вот самое главное: похоже, использование ИИ-инструмента подрывает способность этим инструментом пользоваться.» — читатель, отвечающий на репорт из FAANG

Аналогия с калькулятором — и почему она не работает

Оптимисты потянулись к привычному сравнению: калькуляторы, компиляторы, высокоуровневые языки тоже вытесняли навыки, а мир стал богаче. CEO небольшой компании поделился противоречивым итогом года работы с агентами:

«Умение создавать что-то с нуля, конечно, деградировало. Но способность рассуждать над кодом и редактировать его, кажется, пережила год нормально.» — CEO Sibylline Software

Другие указали, что аналогия с калькулятором протаскивает допущение, которое здесь не работает:

«Если это калькулятор или компилятор — всё нормально... LLM выдаёт ненадёжный результат, поэтому нам всё равно нужно его оценивать. А чтобы оценивать код, нужно с ним работать.» — комментатор о том, почему надёжность меняет всю сделку

Один из участников переформулировал масштаб проблемы: калькулятор заменяет арифметику, ограниченную область. LLM заменяет нечто безграничное.

«Проблема в том, что для LLM это X — это «примерно все знания и навыки коммуникации». Можем ли мы смириться с обществом, где атрофируются «примерно все знания и навыки коммуникации»?» — комментатор о том, почему это не простое деление в столбик

Риск не в том, чтобы забыть, а в том, чтобы потерять способность проверять

Потеря навыка одним человеком — малая версия проблемы. Один из давних участников сообщества назвал большую: если ИИ застынет на нынешнем уровне, а люди потеряют навыки, которые двигают инновации, прогресс тоже остановится, потому что машина сама по себе не изобретает. Сквозная тревога треда не в том, что инструмент исчезнет и оставит нас беспомощными. А в том, что инструмент ненадёжен именно там, где больше всего нужно суждение, которое он незаметно отнимает. И публикует эти цифры та самая лаборатория, которая ассистента и создала.