Hugging Face Blog·· 2024-12-04AI 评分29
Hugging Face 推出 AraGen:基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
AI 导读
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与榜单,采用新的 3C3H 评测指标,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略,数据集与评测代码先盲测三个月再公开,随后更换新私有基准,以缓解数据污染。该基准同时覆盖多轮与单轮场景,是这一语言无关评测框架的首次应用。
来源:Hugging Face Blog · huggingface.co