跳到正文
原文
Hugging Face Blog·· 2023-06-07AI 评分42

Hugging Face Hub 集成 DuckDB:用 SQL 分析 5 万+数据集

DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub

AI 导读

Hugging Face Hub 新增 DuckDB 集成,用户可对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,大文件按 500MB 分片,可通过 /parquet 端点获取 URL,再借助 httpfs 扩展直接查询远程文件。

来源:Hugging Face Blog · huggingface.co