Hugging Face Blog·· 2024-11-26AI 评分28
Hugging Face 重构 Hub 上传与下载架构
Rearchitecting Hugging Face Uploads and Downloads
AI 导读
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构,计划引入内容寻址存储(CAS)作为内容分发第一站,并基于"读简单、写智能"理念构建自定义协议。新架构在字节级别分析文件,对 tensor 文件(如 Safetensors)的压缩探索有望将上传速度提升 10-25%。CAS 节点将部署在 AWS 少数区域,以覆盖北美、欧洲和亚洲的主要上传流量。
来源:Hugging Face Blog · huggingface.co