Собственный дашборд Cloudflare показывает: веб всё ещё на две трети человеческий

Почему один твит CEO Cloudflare оказался на скамье подсудимых

Когда Мэтью Принс (HN-ник eastdakota), CEO Cloudflare, написал в твиттере, что «боты впервые в истории интернета обогнали людей по трафику», он поступил ответственно и сослался на данные. Автор материала flyingpenguin принял предложение, открыл тот же дашборд Cloudflare Radar и пришёл к выводу, что заголовочная цифра была взята с выгодного ракурса.

Весь фокус — HTML против всего трафика

Аргумент автора узкий и технический. Дашборд Cloudflare предлагает два среза. Фильтруешь по только HTML-запросам — боты вырываются вперёд. Смотришь на весь трафик — каждый CSS-файл, каждую картинку, скрипт и шрифт, которые настоящий браузер добросовестно загружает для рендеринга страницы, — и «онлайн-трафик по-прежнему примерно на две трети человеческий». Принс опубликовал первую цифру как факт обо всём интернете, а вторую, видимую на том же дашборде, не упомянул.

Расхождение имеет механическое объяснение: скрейпер обычно забирает одну HTML-страницу и уходит, тогда как браузер человека подгружает десятки ресурсов на страницу. Считать только HTML — значит завышать долю ботов; считать всё — занижать. Ни тот ни другой подход не неверен, но процитирован был лишь один.

Второе обвинение касается категоризации. Принс представил всплеск как агентный трафик — ИИ-агенты, просматривающие сеть от имени пользователя. Но в собственной ботовой таксономии Cloudflare поисковые краулеры занимают наибольшую долю с двукратным отрывом, ИИ-скрейперы вроде GPTBot и ClaudeBot — следующее место, а агентные боты — наименьший сегмент, «именно тот трафик, за который его платный продукт pay-to-crawl выставляет счёт», как замечает автор.

Тред раскалывается вокруг слова «лжёт»

Главное возражение касалось заголовка, а не математики. Simon Willison, создатель Datasette и один из создателей Django, открыл тред, назвав формулировку чрезмерно агрессивной:

««CEO Cloudflare лжёт» — довольно сильное заявление, если он сам сослался на точные данные, которые можно проверить самостоятельно… Это вдобавок один твит со ссылкой на данные, использованные для «опровержения». Странный способ лгать.» — Simon Willison

Willison тем не менее признал суть: данные подтверждают «боты обогнали людей по трафику», но не «агентную» атрибуцию, поскольку большинство — краулеры, строящие индексы, а не агенты, действующие в чьих-то интересах.

Медиаменеджер в треде защитил саму методологию:

«В контексте бот-трафика в вебе учитывать только GET-запросы к HTML — разумный подход. Если считать все запросы ко всем ресурсам, один просмотр страницы nytimes.com будет весить в 100 раз больше одного просмотра HN.» — сооснователь Industry Dive, B2B-издания

Но операторы, реально борющиеся со скрейперами, привели аргументы в обратную сторону. Инженер, занимающийся блокировкой скрейперов для LessWrong, объяснил, почему измеренная доля ботов сама по себе ненадёжна:

«Очень легко занизить объём бот-трафика, потому что боты прилагают усилия… чтобы выглядеть достаточно человечно и избежать блокировки… трафик от нехорошо ведущих себя ботов, имитирующих браузер, превышает трафик от именованных скрейперов вроде GPTBot примерно в 10 раз.» — инженер, занимающийся защитой от скрейперов для LessWrong

Один комментатор назвал конфликт интересов прямо:

«Возникает неприятный стимул, когда «бизнес» зависит от «бот-трафика»… Поскольку бизнес существует за счёт «бот-трафика», появляется стимул расширять определение того, что считается «бот-трафиком».» — комментатор о стимулах вендоров обнаружения ботов

Настоящий спор — не о фактах, а об определениях

Никто в треде фактически не оспаривает, что бот-трафик велик и растёт — несколько операторов сообщают о соотношении 100 к 1 в пользу ботов на своих сайтах. Спор идёт о двух конкретных вещах: можно ли продавать «только HTML» как «интернет», и можно ли всплеск, вызванный преимущественно краулерами для построения индексов, переименовать в «агентный». По обоим пунктам собственный дашборд Принса — главный свидетель против его твита. «Лжёт» — неверное слово, данные у всех на виду, но разрыв между тем, что показывают данные, и тем, что заявил заголовок, ровно такой, каким его описывает автор.