跳到正文
原文
Hugging Face Blog·· 2024-04-23AI 评分36

Hugging Face 推出 Open CoT Leaderboard,衡量大模型链式推理增益

Introducing the Open Chain of Thought Leaderboard

AI 导读

Hugging Face 发布 Open CoT Leaderboard,不评模型绝对准确率,而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务,采用 Classic 与 Reflect 两种提示策略生成推理链,并称对训练数据污染更具鲁棒性。

来源:Hugging Face Blog · huggingface.co