Hugging Face 工程师用 AI 智能体内容定义分块将 Parquet 编辑存储量降低 99.7%

Hugging Face 工程师 Quentin Lhoëst 的 agent 在 DuckDB 中处理 Apache Parquet 编辑时，通过内容定义分块实现高达 99.7% 的存储节省。他公开了基于 DuckDB 的 gist 脚本 dedupestimate.py，供社区复现 Parquet 去重基准测试并验证相关数字。