Hugging Face Blog·· 2025-02-04AI 评分38
Adyen 与 Hugging Face 联合发布 DABstep:多步推理数据智能体基准
DABStep: Data Agent Benchmark for Multi-step Reasoning
AI 导读
Adyen 与 Hugging Face 联合推出 DABstep,一个面向多步推理的数据分析智能体基准,包含 450+ 个源自 Adyen 真实业务的数据分析任务。评测显示,当前最强的推理型智能体准确率仅 16%,凸显模型在真实数据分析场景中的巨大差距。该基准同时包含结构化与非结构化数据,任务答案采用二元判定,仅需代码执行环境即可运行并提交至实时排行榜。
来源:Hugging Face Blog · huggingface.co