Hugging Face Blog·· 2025-07-25AI 评分38
Hugging Face 用 Parquet 内容定义分块加速 Hub 上传下载
Parquet Content-Defined Chunking
AI 导读
PyArrow 和 Pandas 现已支持 Parquet 内容定义分块(CDC),可在 Hugging Face 的 Xet 存储层上对 Parquet 文件高效去重,只上传或下载发生变化的 chunk,从而降低传输与存储成本。
来源:Hugging Face Blog · huggingface.co