F3: формат файлов, который таскает свой декодер внутри себя в виде WASM. Гениально — или мина замедленного действия
Новый колоночный формат F3 предлагает радикальную идею: каждый файл несёт не только данные, но и WebAssembly-бинарь, способный их раскодировать. Тред раскололся между «это гениально» и «я не хочу зависеть от WASM-интерпретатора, чтобы прочитать архив через 10 лет».
F3 (Future File Format) собрал 621 очко. Идея, которая всех зацепила: формат самоописываемый — внутри файла лежат и данные, и WASM-бинарники для их декодирования, чтобы не зависеть от языковых SDK.
Восторг быстро встретил скепсис. «Если я архивирую петабайты на 10+ лет, я не хочу полагаться на то, что WASM-интерпретатор будет доступен и производителен в будущем», — пишет один инженер. А ещё внутри встроенного декодера придётся дебажить чужой код.
Контекст
F3 (Future File Format) — колоночный формат хранения, метящий в недостатки Parquet. Он собрал 621 очко при 129 комментариях: классический INSIGHT_BOMB, где спорят не о хайпе, а об инженерном решении.
Что произошло
Главная идея F3 — самоописываемость через WASM. Каждый файл включает данные, метаданные и WebAssembly-бинарники, декодирующие эти данные. Если под формат нет библиотеки на твоём языке, ты вызываешь экспортированные WASM-методы прямо из файла.
Что говорит тред
Сторонники назвали ход элегантным:
«Вот это по-настоящему остроумно: вместо зависимости от языкового SDK можно откатиться к экспортированным WASM-методам, если библиотеки нет. Декодеры встроены в сам файл» — gavinray
Но самый весомый контраргумент — про долговременное хранение:
«Если я архивирую петабайты данных на 10+ лет, я не хочу полагаться на то, что WASM-интерпретатор останется доступным и производительным в будущем — лишь бы прочитать файл. Я хочу мёртво-простую, тщательно документированную байтовую спецификацию, как у Parquet. Плюс декодер внутри WASM-бинаря — это активная поверхность исполнения» — coffeecoders
Скептик добавил приземлённую претензию: форматы сжатия вторичны по отношению к тому, что ты собираешься делать с данными после декодирования. А самый трезвый голос напомнил, что у форматов есть один по-настоящему выигрышный признак:
«Не уверен, почему это набрало столько апвоутов. Из всех этих форматов реально решающая фича — совместимость, а она тут, очевидно, нулевая» — vouwfietsman
Что это значит
F3 — красивая инженерия, которая спотыкается о скучный закон форматов: побеждает не самый умный, а самый совместимый. Встроенный WASM решает проблему «нет библиотеки», но создаёт новую — «нет гарантии, что твой архив прочитается через десять лет без работающего интерпретатора». Для горячих данных это, возможно, выигрыш; для холодного архива — ровно то, чего инженеры боятся.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Anthropic обновила условия: теперь может потребовать подтвердить возраст или личность. В треде вспомнили, как Запад смеялся над Китаем
Обновлённая политика Anthropic вводит верификацию возраста и личности. Реакция HN — не паника, а горькая ирония: «пару лет назад Запад высмеивал систему social scoring в Китае, а теперь США хотят быть в этом номером один».