Он сгенерировал 1008 AI-картинок с животными на транспорте, чтобы проверить, тренируют ли лаборатории модели под мемный бенчмарк

Бенчмарк, ставший мемом, и теория, которую он породил

Уже несколько лет Саймон Уиллисон, создатель Datasette, заметный голос в сообществе LLM-инструментов, прогоняет один и тот же неформальный тест на каждом крупном релизе модели: попросить нарисовать SVG пеликана на велосипеде и посмотреть, насколько узнаваемо и насколько абсурдно получится. Это стало настоящим, пусть и ненаучным, сигналом, за которым следит вся индустрия: достаточно точным в выявлении причуд качества модели, чтобы на него ссылались при каждом релизе новой передовой модели.

Эта популярность породила очевидное подозрение: если достаточно людей следят за пеликаном на велосипеде как сигналом качества, не начнёт ли какая-нибудь AI-лаборатория тихо оптимизировать обучающие данные именно под победу в нём: «пеликанмаксинг», игра слов от «бенчмаксинга», обучение под конкретный известный тест вместо общих способностей? Дилан Кастильо решил проверить теорию по-настоящему, а не спорить о ней.

Строго контролируемый эксперимент

Дизайн: сетка 8 животных на 6 видов транспорта, 48 комбинаций промптов всего, пеликан-на-велосипеде — лишь одна ячейка среди многих, прогнанная на семи передовых моделях через OpenRouter, по три семпла на промпт, итого 1008 сгенерированных SVG. Каждое изображение оценивалось по узнаваемости животного, узнаваемости транспорта и общей связности с помощью GPT-5.6 в роли автоматического судьи по шкале 1–5, с извлечением признаков для отслеживания структурных паттернов.

Результаты чисто опровергли теорию. Пеликаны заняли 6-е место из 8 животных по качеству рисунка в целом; велосипеды заняли 7-е из 6 типов транспорта (почти у дна списка транспорта, который модели рисуют хорошо). Конкретная комбинация пеликан-велосипед оказалась на 42-м месте из 48, далеко не на вершине, а именно там и стоило бы ожидать лидерства, если бы лаборатория тихо тренировала модель под этот конкретный промпт. Регрессионный анализ, искавший прирост, специфичный для лаборатории по пеликанам или именно по паре пеликан-велосипед, не нашёл статистически значимого эффекта (p-значения выше 0,05 везде) ни для одной из семи протестированных моделей. Одна структурная странность всё же выдержала проверку: все 21 SVG пеликана на велосипеде, сгенерированные всеми моделями, смотрели вправо, но Кастильо обнаружил ту же смещённость вправо и в других комбинациях животное-транспорт, что говорит скорее об общей тенденции моделей раскладывать сцену определённым образом, а не о доказательстве обучения под конкретный промпт.

«Мало доказательств» — и один контраргумент с HN, переворачивающий рамку

Вывод Кастильо: доказательств того, что какая-либо лаборатория специально занимается пеликанмаксингом, мало. GLM-5.2 показала самый крупный прирост оценки за пеликана на велосипеде среди семи протестированных моделей, но даже этот результат не прошёл порог статистической значимости. Если что-то и оптимизируется, более правдоподобная версия, согласно статье, — более широкий «SVG-максинг»: общее улучшение способности генерировать SVG как навык, а не узкий трюк под конкретный бенчмарк, то, что дизайн из 48 комбинаций не способен отличить от подлинного роста способностей.

Один ответ на Hacker News полезно переформулировал всю предпосылку: «стоит спросить себя, что вообще значит «максинг», раз «лучше рисовать SVG» — полезный навык». Если лаборатория усерднее тренирует векторную графику вообще, потому что это по-настоящему полезная способность (макеты интерфейсов, диаграммы, иконки), это не имитация бенчмарка ни в каком значимом смысле, даже если пеликаны выигрывают от этого попутно. Именно строгость дизайна Кастильо и делает это различие вообще возможным провести: без контролируемой сетки из 48 комбинаций «пеликаны стали лучше» и «идёт пеликанмаксинг» были бы неотличимы.