Claude Code прочитал его МРТ и поспорил с рентгенологом. В тред пришёл настоящий рентгенолог

Ортопед диагностировал разрыв сухожилия плеча III степени, а потом лечил его ударно-волновой терапией и гомеопатической инъекцией. Opus 4.8, которому скормили 266 МБ сырых DICOM-файлов, заявил, что сухожилие целое.

Вкратце

Мужчина три недели мучился с болью в плече и получил в немецкой клинике диагноз: частичный разрыв сухожилия III степени. Он скормил сырой снимок в Claude Code; Opus 4.8 потратил час на план, а затем заключил, что сухожилие цело, есть лишь лёгкий тендиноз. Кому верить, он так и не понял.

В тред пришёл практикующий рентгенолог и нацелился не на ИИ, а на врачей: клиника вколола пациенту гомеопатию и провела ударно-волновую терапию, которую гайдлайн не рекомендует. А МРТ-техник объяснил, что сам сканер достраивает половину пикселей.

Гомеопатическая инъекция, ударно-волновая терапия и сухожилие, которое то ли порвано, то ли нет

Срез МРТ плеча, разобранный в Claude Code
Срез МРТ плеча, разобранный в Claude Code

Исходный пост читается как программный эксперимент, забредший в больницу. После двух-трёх недель боли в правом плече автор пришёл к ортопеду, тот назначил МРТ и прочитал снимок как частичный разрыв III степени (>50% ширины) в месте крепления подлопаточной мышцы. Уже на выходе автор заметил две вещи, которые не сходились: клиника провела ударно-волновую терапию и вколола Traumeel — препарат, зарегистрированный в Германии как гомеопатия «без терапевтического показания».

Поэтому он выгрузил снимок: несколько сотен файлов без расширения, около 266 МБ, и направил на них Opus 4.8 (xhigh) прямо внутри Claude Code. Прежде чем коснуться картинок, модель около часа составляла план анализа. Её вердикт противоречил клинике: сухожилие целое, лёгкий тендиноз в месте крепления, отдельного разрыва нет. Второй прогон Claude, который рассудил два чтения, встал на сторону ИИ со средне-высокой уверенностью. Автор осторожен: он «конечно, не врач (в этом-то и проблема!)», подчёркивает, что всё это не медицинский совет, и признаёт, что теперь завис в неопределённости, не доверяя до конца ни клинике, ни машине.

Единственный рентгенолог в треде ударил по клинике, а не по модели

Тред быстро раскололся: одни пересказывали свои истории «ИИ обошёл врача», другие реально работают с визуализацией — и эксперты потянули туда, куда автор не ждал. Самую резкую поправку дал человек, который читает такие снимки на работе, и целился он в лечение, а не в токены:

«Я рентгенолог, но не могу всерьёз судить, не видя полного 3D-датасета МРТ… УЗИ — так себе способ оценить кальцинаты. Крупный найдёт, а мелкий легко пропустит… ударно-волновая терапия при отсутствии кальцинатов не вредна, она просто бесполезна». — рентгенолог в треде

Второй рентгенолог высказался о главном тезисе резче:

«Как рентгенолог скажу: Claude и ChatGPT абсолютно ужасны на МРТ, и я не доверял бы им ни на грамм… интерпретировать рентгенологические снимки они пока просто не умеют достаточно хорошо». — второй рентгенолог

А потом из-под всего упражнения ушёл пол. МРТ-техник указал, что сам «снимок», который читал Opus, во многом синтетический:

«Нынешний софт Siemens MR „Deep Resolve“ выдумывает сигнал (добавляя около 50%), потом выдумывает каждый второй пиксель, а для 3D-последовательностей — ещё и каждый второй срез… И делает это очень хорошо. Я МРТ-техник». — МРТ-техник

«Мираж рассуждений»: модель описывает картинки, которых ей не показывали

Сбой не только пространственный. Один комментатор всплыл препринт Стэнфорда с термином mirage reasoning (мираж рассуждений): передовые модели выдавали «детальные описания изображений и развёрнутые цепочки рассуждений с уклоном в патологию — для снимков, которые им вообще не предоставляли» — как пересказал из статьи один комментатор. Инженер из телемедицины добавил предупреждение о калибровке из своих бенчмарков: достаточно сформулировать запрос как «Видите ли вы $diagnosis на этом фото?», и модель уверенно подтверждает диагноз:

«Нас встревожило, насколько плохо откалиброваны модели… бинарная классификация сильно подталкивала LLM уверенно предсказать $diagnosis». — инженер телемедицинской компании, тестировавший модели на бенчмарках

Один разработчик привёл конкретный пример: Claude намерил зазор в ахилловом сухожилии 13 мм, которого не было, выбрав две белые структуры, тогда как само сухожилие на МРТ чёрное — рентгенолог не увидел никакого зазора.

И всё же тред не дал врачам соскочить. Самую залайканную переформулировку дал не апологет ИИ, а скептик к посылке статьи, нацелившийся на ту самую гомеопатическую инъекцию:

«У этого человека плохая медицинская команда. Несложно заставить LLM выступить лучше команды, которая колет гомеопатические травяные смеси и делает не показанные процедуры… Это история о том, как LLM распознала, что человек в плохих руках». — комментатор с подписками на несколько LLM, который прогоняет медицинские вопросы через все сразу

Именно в эту неуютную середину раз за разом упирались эксперты: рентгенологи почти наверняка правы, что Opus не читает пиксели, а пациент при этом может быть прав, уходя из этой клиники. Реальным результатом модели здесь был не диагноз, а повод получить второе мнение у живого человека — то единственное, против чего в треде не возражал никто.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 4 из 34 Читать дальше
🔥Hot Discussion

Профессор теории игр устроил экзамен на доверии. 50 студентов использовали ИИ

Спустя 34 года экономист из Брауновского университета впервые дал экзамен на дом с закрытыми книгами — «практически без ограничений по времени», чтобы сделать его сложнее. Очный финал вскрыл минимум 50 списавших, когда распределения баллов перестали совпадать.

★ 296 · 💬 402 · english.elpais.com · 4 мин