Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3513 个公开样例，另设私有留出集。
#评测/基准
#评测/基准
今日 0 条Google DeepMindAI 评分4040
Google ResearchAI 评分2727 Google 发布 MSEB 音频智能基准，覆盖 8 类听觉任务
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评估声音嵌入模型的 8 类听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排序与重建。
Hugging Face BlogAI 评分3030 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
OpenAI NewsAI 评分1212 OpenAI：evals 如何驱动企业 AI 的下一章
OpenAI 发文阐述 evals 如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。
OpenAI NewsAI 评分2222 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统在印度语言中表现的新基准，由领域专家参与构建，覆盖 12 种语言和 10 个知识领域，重点考察文化理解与推理能力。
Hugging Face BlogAI 评分4848 BigCodeArena：通过代码执行端到端评判代码生成
Hugging Face 推出 BigCodeArena，这是首个通过实际执行来评估代码生成模型的人类参与平台，支持 10 种语言和 8 种执行环境，可实时运行模型生成的代码并投票。平台自 2025 年 2 月上线以来已收集超 14,000 段对话、4,700+ 条偏好投票，覆盖 10 个前沿 LLM，o3-mini 与 o1-mini 在 Elo 排名中稳居第一梯队。
Hugging Face BlogAI 评分4040 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，部分模型在私有集上出现明显性能下滑。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 ARE 研究环境
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后继基准 Gaia2 转向读写与噪声环境，配套 ARE 框架可复现评测，便于对照各家模型在真实任务上的差距。
Hugging Face BlogAI 评分3333 Hugging Face 发布 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 交互式文字游戏，测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分2626 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 发布 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建。
Hugging Face BlogAI 评分3838 NVIDIA AI-Q 蓝图基于 Llama Nemotron 登顶 DeepResearch Bench 开源榜单
NVIDIA AI-Q Blueprint 在 DeepResearch Bench 的 "LLM with Search" 类别以 40.52 分登顶，成为排名最高的全开源许可方案。
Hugging Face BlogAI 评分2323 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个专门评测阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译成阿拉伯语的 HumanEval+ 与 MBPP+ 代码任务。
Hugging Face BlogAI 评分5050 TimeScope：你的视频大模型到底能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，将 5-10 秒的"针"片段插入 1 分钟至 8 小时的视频中，考察定位检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分3838 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场与新闻生成任务评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，同时接入 Polymarket 每周约 8 个问题，答案可随时间客观验证，且从设计上杜绝数据污染。
Hugging Face BlogAI 评分4444 Kimina-Prover-72B 发布：基于 Qwen2.5-72B 的形式化推理模型，miniF2F 通过率达 92.2%
Numina 与 Kimi 团队发布定理证明模型 Kimina-Prover-72B，基于 Qwen2.5-72B 和 Kimi k1.5 的 RL 流程训练，在 miniF2F 基准上取得 92.2% 的 SOTA 通过率。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 Hugging Face Space 提交方案。
Hugging Face BlogAI 评分5757 Hugging Face 发布 ScreenSuite，面向 GUI 智能体的评测套件
Hugging Face 发布 ScreenSuite，称其为面向 GUI 智能体的最全面评测套件，统一整合了 13 个基准，覆盖感知与定位、单步动作、多步智能体三类能力。
OpenAI NewsAI 评分4242 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 推出医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3737 HELMET：全面评估长上下文语言模型的基准发布
普林斯顿团队发布 HELMET 长上下文语言模型评测基准，已评估 59 个近期 LCLM，并将在 ICLR 2025 展示。该基准针对现有评测过度依赖 NIAH 等合成任务、与实际下游表现相关性差的问题，从多样性、可控性和可靠性三方面改进。
OpenAI NewsAI 评分2222 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量智能体在网页浏览任务中的能力表现。
Mistral AIAI 评分2727 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集求加权平均。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space，统一阿拉伯语 AI 评测入口，目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3636 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究，具体任务、评分方式与结果尚未在原文中披露。
OpenAI NewsAI 评分3636 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实外包项目为题目来源，衡量模型在实际软件工程工作中的变现能力。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测平台。初版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 180 多个机构提交的 700 多个模型，参数规模从 1B 到 70B 以上。新版回应社区对阿拉伯语专项任务直接评测、基准透明度和方言多样性数据集的诉求。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 联合发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合推出 DABstep，一个面向多步推理的数据分析智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。评测显示，当前最强的推理型智能体准确率仅 16%，凸显模型在真实数据分析场景中的巨大差距。该基准同时包含结构化与非结构化数据，任务答案采用二元判定，仅需代码执行环境即可运行并提交至实时排行榜。
Hugging Face BlogAI 评分2929 Hugging Face 开放 LLM 排行榜新增 CO₂ 排放数据：社区微调模型更低碳
Hugging Face 在 Open LLM Leaderboard 中新增模型推理的 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据。分析覆盖 Gemma、Llama、Mistral、Mixtral、Phi、Qwen2 等 2742 个模型，发现社区微调或合并模型通常比其官方基座模型更低碳，而部分 MoE 模型因推理时间过长导致排放高于预期。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，该数据集将 Big Bench Hard 的 1000 道题改编为音频形式。
Hugging Face BlogAI 评分2727 LLM 修复自身错误的能力如何？基于 Keras 与 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，让多个 LLM 同时处理同一段日历 API 调用对话，测试它们在用户用自然语言指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio Spaces 界面并行对话。
Hugging Face BlogAI 评分2929 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略，数据集与评测代码先盲测三个月再公开，随后更换新私有基准，以缓解数据污染。该基准同时覆盖多轮与单轮场景，是这一语言无关评测框架的首次应用。
Hugging Face BlogAI 评分2828 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式运行。该榜单整合超 20 个数据集，由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
Hugging Face BlogAI 评分5555 Hugging Face 与 Atla 推出 Judge Arena，用众包投票评测 LLM 裁判能力
Hugging Face 博客发布 Judge Arena，一个让用户对两个 LLM 裁判的评分和评语进行投票对比的平台，投票结果汇总为 Elo 排行榜并每小时更新。
Hugging Face BlogAI 评分2222 Hugging Face Expert Support 案例：用 LLM-as-a-Judge 强化 RAG 应用
Digital Green 在 CGIAR 主导的 GAIA 项目中开发了农业问答机器人 Farmer.chat，并联合 Hugging Face 专家搭建 LLM-as-a-Judge 评估体系来评测其 RAG 管线。
Hugging Face BlogAI 评分2828 Hugging Face 推出 Open FinLLM Leaderboard：金融大模型专用评测榜单
Hugging Face 发布 Open FinLLM Leaderboard，为金融场景提供专门的 LLM 评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集来自金融行业真实挑战，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并区分阅读理解、事实知识、捷克语理解、语言建模、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等类别。
OpenAI NewsAI 评分4848 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工验证的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2424 LAVE：用 LLM 对 Docmatix 做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation），用 Llama-2-Chat-7b 以 1-3 分制对答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5 的零样本表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用 transformers.agents 构建的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集为 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：官方披露 Code Agent 在 GAIA 上的成绩与实现细节，可看到代码动作与多智能体编排的具体做法。
Hugging Face BlogAI 评分3636 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每个任务平均 5.6 个测试用例、分支覆盖率 99%。