Hugging Face Blog·· 2025-10-27精选AI 评分62
Hugging Face 改进 datasets 流式加载,请求数减少 100 倍
Streaming datasets: 100x More Efficient
AI 导读
Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 接口保持不变,启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多提升 2 倍。
推荐理由
官方给出流式加载的请求数、解析时间和吞吐变化,读者可据此判断大规模训练的数据管线是否值得切换。
来源:Hugging Face Blog · huggingface.co