Hugging Face 如何改进 Hub 上 Parquet 文件的去重效率

Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果：追加 10,000 行可去重 99.1%，仅需额外 20MB；但修改一行因列头含绝对偏移量，去重率降至 89%，需额外 230MB。团队提出改用相对偏移量、按行组做内容定义分块等方案，并希望与 Apache Arrow 合作落地。