Классификатор 2015 года обошёл GPT-6 Astra и Claude Fable 5.1 в распознавании рака кожи

Старая сеть против двух новых чат-ботов

В заметке Lynch Lab GPT-6 Astra и Claude Fable 5.1 сравнили с Inception v3, архитектурой 2015 года. Автор дообучил сеть на 68 011 снимках из архива ISIC на одном H100, затем проверил все три модели на 200 поражениях из открытого набора MILK10k. Каждое поражение подтверждено биопсией, а все снимки того же поражения или пациента убрали из обучения.

Каждый чат-бот получал клиническое фото и дерматоскопический снимок и выбирал один из шести диагнозов. Каждого запускали один раз с настройками по умолчанию.

Самый большой разрыв у себорейного кератоза: 26 из 50 у сети против 13 и 6 у чат-ботов. Оговорки автора прямые. Тридцать меланом — маленькая выборка. MILK10k открыт с 2025 года, так что чат-боты могли на нём обучаться. Inception v3 же — базовая линия, а не современный уровень.

Обвинение в «бенчмаксинге»

Самое громкое возражение: модель, дообученная на разбиении одного датасета на обучающую и тестовую части, всегда выиграет на этом датасете.

«Модель, натасканная на бенчмарк, всегда обгонит ненатасканную, но она хрупкая… плохо обобщает на „дикие“ снимки, потому что они вне её области.» — комментатор, который процитировал описание эксперимента и оспорил его

Другой ответ провёл черту по обману.

«Бенчмаксинг — это когда модель выдают за универсально умную, а её тайно переобучили на отдельных бенчмарках… Если обучить маленькую модель под конкретную задачу, это не „бенчмаксинг“, потому что обмана нет.» — комментатор, который защищал обучение под конкретную задачу

Зачем вообще тянуться к чат-боту

Другой лагерь считал, что результат — повод перестать использовать универсальные модели как классификаторы. Возражение было практическим: хороший классификатор требует размеченных данных, а для LLM нужен только промпт.

«Чтобы обучить модель, нужны размеченные данные. Чтобы запустить LLM, достаточно промпта. Я согласен, что хорошая модель обгонит LLM, но LLM гораздо быстрее и проще в сборке.» — andrewmutz, в профиле которого ссылка на доказательство через keybase

Дерматолог посмотрел на это со стороны клиники. Комментатор, который называет себя академическим хирургом по Моосу, написал, что ожидал от чат-ботов лучшего результата, и назвал Inception v3 «старой моделью, далёкой от современного уровня диагностики рака кожи».

Компромисс виден в решении, отпускать пациента домой или нет. При пороге по умолчанию сеть отпустила 76 из 100 безопасных поражений против 32 и 22 у чат-ботов, но и оставила лишь 77 из 100 опасных против 97 и 96. Выбор порога — продуктовое решение, а не архитектурное.