Пять моделей Qwen3.8-27B на уровне Fable 5 в трудных задачах по коду, если смотреть на бенчмарк снисходительно

Как работает обвязка

GVS5H («Gorilla vs. 5 Humans») — схема без обучения, в которой свежие экземпляры одной модели делят задачу и координируются через общую файловую систему с планом, заметками и текущим решением. На 100 последних трудных задачах LiveCodeBench авторы сообщают, что Qwen3.8-27B при локальном запуске поднимается с 66,8% до 92,4% pass@1. Другая модель Qwen достигает 93,0% против 90,4% у Fable 5 при примерно 9% стоимости. Некоторые модели ничего не выигрывают или становятся хуже, а сравнение с Opus 5 шло на более ранней обвязке.

Вердикт треда о доказательствах

«Нет сравнения с astra/6.1 sol/fable 5.1/opus 5.5. Нет сравнения на бенчмарке, который отражает реальную агентную работу… практически гарантированное загрязнение.» — vikramkr, который прочитал описание датасета бенчмарка

Другой читатель задался вопросом про «в 10 раз больше времени»: экономия реальна, только если согласиться на более медленный результат. Третий комментатор указал на качество обвязки. По его словам, чтобы заставить Opus 5.5 и Fable 5.1 запускать неблокирующих субагентов внутри Claude Code, понадобилось четыре-пять попыток.

Если вы запускаете локальные модели, переносимая идея — журнал решений в общей папке. Цифру 92,4% стоит сначала перепроверить на собственных задачах.