跳到正文
原文
Hugging Face Blog·· 2025-10-27精选AI 评分62

Hugging Face 改进 datasets 流式加载,请求数减少 100 倍

Streaming datasets: 100x More Efficient

AI 导读

Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 接口保持不变,启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多提升 2 倍。

推荐理由

官方给出流式加载的请求数、解析时间和吞吐变化,读者可据此判断大规模训练的数据管线是否值得切换。

来源:Hugging Face Blog · huggingface.co