Тег

Parquet

2 материалов

DuckDB 2.0 получил серверный режим и асинхронный I/O, но файлы 2.0 старые версии не откроют (duckdb.org)

В релиз вошли серверный протокол Quack, фоновое чтение Parquet и CSV, VARIANT с автоматическим шреддингом и триггеры. Новый парсер PEG стал основным, ICU удалён, а 2.0 поддерживается минимум до октября 2027 года.

Один пользователь сообщает, что сжал 7 ТБ логов Azure в NDJSON до 2,5% от исходного размера в Parquet менее чем за два часа на средней ВМ.

Не просто заголовок — разбор дискуссии

Главные треды HN: факты из обсуждений, разные стороны, голоса инсайдеров. Email, Telegram или RSS.

F3: формат файлов, который таскает свой декодер внутри себя в виде WASM. Гениально — или мина замедленного действия (github.com)

F3 (Future File Format) собрал 621 очко. Идея, которая всех зацепила: формат самоописываемый — внутри файла лежат и данные, и WASM-бинарники для их декодирования, чтобы не зависеть от языковых SDK.

Восторг быстро встретил скепсис. «Если я архивирую петабайты на 10+ лет, я не хочу полагаться на то, что WASM-интерпретатор будет доступен и производителен в будущем», — пишет один инженер. А ещё внутри встроенного декодера придётся дебажить чужой код.