跳到正文
原文
Hugging Face Blog·· 2024-11-26AI 评分28

Hugging Face 重构 Hub 上传与下载架构

Rearchitecting Hugging Face Uploads and Downloads

AI 导读

Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构,计划引入内容寻址存储(CAS)作为内容分发第一站,并基于"读简单、写智能"理念构建自定义协议。新架构在字节级别分析文件,对 tensor 文件(如 Safetensors)的压缩探索有望将上传速度提升 10-25%。CAS 节点将部署在 AWS 少数区域,以覆盖北美、欧洲和亚洲的主要上传流量。

来源:Hugging Face Blog · huggingface.co