跳到正文
原文
Hugging Face Blog·· 2023-06-23AI 评分34

Open LLM Leaderboard 的 MMLU 评分为何与 LLaMA 论文对不上?

What's going on with the Open LLM Leaderboard?

AI 导读

Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值:榜单基于 EleutherAI LM Evaluation Harness,而 LLaMA 团队用的是 UC Berkeley 原始实现,Stanford HELM 又是第三种实现。

来源:Hugging Face Blog · huggingface.co