跳到正文
原文
Hugging Face Blog·· 2025-07-25AI 评分38

Hugging Face 用 Parquet 内容定义分块加速 Hub 上传下载

Parquet Content-Defined Chunking

AI 导读

PyArrow 和 Pandas 现已支持 Parquet 内容定义分块(CDC),可在 Hugging Face 的 Xet 存储层上对 Parquet 文件高效去重,只上传或下载发生变化的 chunk,从而降低传输与存储成本。

来源:Hugging Face Blog · huggingface.co