Он проиндексировал 45 млн комментов HN и собрал график 18 лет хайпа

Один разработчик превратил 18 лет Hacker News в график в стиле Google Trends

Идея hackernewstrends.com проста: вводишь термин и получаешь линию, показывающую, как часто он встречался в обсуждениях Hacker News со временем. Введёшь несколько, и они гонятся наперегонки. Сайт гоняет живую гистограмму по 45 миллионам постов и комментариев за 18 лет, а под каждой линией показывает реальные истории и комментарии из этого окна, с фильтром по термину или автору.

Автор, написавший в треде, назвал это выходным проектом, который вышел из-под контроля:

«Это был мой небольшой проект после того, как я обнаружил, что могу просто… взять весь архив hackernews (~48 ГБ) и поиграться с ним. … Мне нравится, что можно находить, что в какой-то момент сходило с ума: такие вещи просто всплывают как короткие всплески активности».

Всплески — самое интересное. lk-99, сверхпроводник при комнатной температуре, которого не было, даёт один резкий пик в середине 2023 года. Большинство историй про безопасность ведут себя так же: один пик на момент раскрытия, потом тишина. Исключение, как отметил один инженер по безопасности, — Stuxnet: «гораздо интереснее большинства других атак, потому что она была очень политической и опубликована открыто… то, о чём была та атака, до сих пор в заголовках новостей». Есть и отдельная страница Who's Hiring, где расписан спрос на языки программирования по всем ежемесячным тредам найма за всю историю HN.

«Это про опубликованный текст, а не про поисковые запросы»

Название задаёт ожидание, которое данные не оправдывают, и самая заплюсованная поправка в треде пришла от давнего завсегдатая HN:

«Google Trends — про поисковые запросы. А это про опубликованный текст. Скорее как если бы Google Trends считал, сколько раз слово встречается на веб-страницах… Люди мало пишут о незначимых вещах, тогда как многие ищут „burger“ каждый раз, когда хотят заказать бургер. Эти датасеты нельзя использовать одинаково».

Это ближе к Google Ngram Viewer, наведённому на форум, чем к Trends, и на это независимо указали несколько читателей.

Вторая оговорка касается разрешения неоднозначности терминов: ту самую задачу Google решал годами. Сайт совпадает с сырыми строками, поэтому распространённые слова и символы протекают. Один читатель, тестировавший редакторы, обнаружил, что целые языки пропали: «нет Java или Go среди языков? Странно… Я подумал, не отфильтровали ли „go“ из-за того, что это ещё и обычное слово». Разработчик с 14 тысячами кармы поймал нюанс потоньше: «„C#“ на графике на самом деле совпадает просто с „C“, хотя в примерах заголовков статей подсвечивается только „C#“». А ещё один читатель понял, что бодрая линия «Grunt» вовсе не про таск-раннер, а про людей, пишущих «grunt work».

Чаще всего просят нормализацию. Как сформулировал один комментатор, поиск по iPhone проседает к 2025 году: «но интерес к нему упал или просто в тот год было меньше комментариев на Hacker News?». Без деления на общий объём HN каждая линия отчасти отслеживает рост самого сайта, а не тему.

Мейнтейнер ClickHouse: «это можно собрать одним SQL-запросом»

Реакция, переосмыслившая проект, пришла от ведущего разработчика ClickHouse, который указал, что вся тяжёлая работа уже доступна как публичная утилита:

«Я держу публично открытую базу с данными Hacker News… Так что любой подобный сервис можно создать одним SQL-запросом и одной HTML-страницей. … И база обновляется в реальном времени».

Сам сайт под нагрузкой держится не идеально: всё утро он сыпал ошибками FUNCTION_INVOCATION_TIMEOUT и лимитами Upstash, пока его долбила главная страница. А автоматически сгенерированные пояснения, которые он пишет поверх графиков, вызвали своё недовольство: когда страница заявила, что REST уступил место расколу gRPC/GraphQL, разработчик, читавший тот же график, прямо не согласился: «REST — дефолт до 2017 года, GraphQL ненадолго популярен в начале 2020-х, потом веб возвращается к REST».

Что переживает все придирки, так это эстафета, которую способен показать только собственный текст форума. Крипта на пике, пока взрывается chatgpt; Flash, перетекающий в HTML5; долгий медленный подъём Rust. Данные не скажут, почему HN это волновало, но они с точностью до месяца фиксируют момент, когда волновать перестало.