ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 博客介绍论文 ProvenanceGuard，一个运行在黑盒 MCP 智能体之上的生成后验证层，用于识别"跨来源混淆"——即事实真实但被归因到错误来源。在 281 条医疗智能体真实 trace 上，专家判定应拦截的 139 条 claim 中它拦下 138 条，来源识别准确率约 86%，并在与四个对照检查器的比较中得分最高。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分3636
Hugging Face Blog精选AI 评分6666 IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4pp 缩小到 12.0pp
IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
推荐理由：原文给出 Mean@k 与 Pass^k 的差距数据及一致性指南的改进幅度，读者可据此判断智能体可靠性的评估方式。
Hugging Face BlogAI 评分3232 Hugging Face 推出 BenchMIRT：LLM 基准测试究竟在测什么？
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法，基于 100 个 LLM、16 个基准、超 34K 道题的测试结果训练，在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。
Hugging Face BlogAI 评分5252 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6060 Multiverse Computing 提出 Quantization-Aware Healing：4-bit 压缩模型在 7/9 基准上超过其全精度版本
Multiverse Computing 发布论文提出 Quantization-Aware Healing（QAH），在 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后，直接从压缩前的原始模型蒸馏，而非从恢复出的 bfloat16 checkpoint 蒸馏。
推荐理由：论文给出压缩加量化后从原始模型蒸馏的恢复方法，并附9项基准对比，可看4-bit模型反超16-bit来源的具体条件。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧、掩码实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Hugging Face Blog精选AI 评分7171 Hugging Face 用编码智能体复现 ICML 2026 的 2,226 篇论文
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战，1,221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体逐条复现论文主张，共发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 用 1,200 多名社区成员和编码智能体复现 ICML 2026 论文，给出了大规模论文审计的可行路径与人类角色的具体观察。
Hugging Face BlogAI 评分4040 ALTK-Evolve 对比 ACE：用更少 Token 实现更强的智能体记忆
Hugging Face 的 ALTK-Evolve 与 ACE 同为无需权重更新的智能体记忆方案，但前者按任务检索少量高支持度 guideline，而非每步注入完整 playbook。
Hugging Face BlogAI 评分4444 Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失，大幅降低 LLM 知识蒸馏成本
Hugging Face 论文提出两项系统改动降低 LLM 知识蒸馏成本：离线缓存教师模型每位置的 top-100 logits，使教师无需与学生同时驻留显存；融合分块 KL 损失避免生成完整的词表×序列长度矩阵。以 gpt-oss-120b 为例，稠密 KL 峰值约 250GB，超过单张 H200 的 141GB，融合分块方案峰值约 128GB，使长上下文修复可在单 GPU 上完成。
Hugging Face Blog精选AI 评分6262 Hume 发布 Real World VoiceEQ 语音 AI 人类质量评测基准
Hume 发布 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
推荐理由：Hume 公开了语音 AI 人类质量评测基准的规模与关键发现，读者可据此理解现有基准为何高估真实表现。
Hugging Face BlogAI 评分3939 ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布开源基准 ScarfBench，用于评测 AI 智能体在企业级 Java 框架迁移中的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。评测显示最强智能体行为成功率不足 10%，Claude Code 报告 30 个应用中 29 个构建成功，实际仅 22 个通过。
Hugging Face BlogAI 评分3838 DiScoFormer：一个 Transformer 同时估计密度与 score，跨分布通用
Hugging Face 博客介绍 DiScoFormer（Density and Score Transformer），一个 Transformer 模型可在单次前向传播中同时估计数据分布的密度与 score，无需针对新分布重新训练。
Hugging Face BlogAI 评分3636 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 的 sim-to-real 验证轨道。
Hugging Face BlogAI 评分4848 Hugging Face 提出 MosaicLeaks：深度研究智能体能否守住秘密？
Hugging Face 发布 MosaicLeaks，用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险，这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私，仅训练任务性能还会加剧泄露；其提出的 PA-DR 方法将严格链成功率从 48.7% 提升至 58.7%，并把答案/全信息泄露率从 34.0% 降至 9.9%。
Hugging Face BlogAI 评分2828 QIMMA：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA（阿拉伯语"顶峰"），一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜。QIMMA 整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖文化、STEM、法律、医疗、安全、诗歌与编程 7 大领域，其中 99% 为原生阿拉伯语内容，并首次在阿拉伯语排行榜中引入代码评测。
Hugging Face BlogAI 评分3434 Ecom-RLVE：面向电商对话智能体的自适应可验证环境
Hugging Face 将 RLVE 框架从单轮推理题扩展到多轮、工具增强的电商对话，推出 EcomRLVE-GYM，包含产品发现、替代品、购物车构建、退货、订单跟踪、政策问答、捆绑规划和多意图旅程 8 个可验证环境。
Hugging Face BlogAI 评分3838 Hugging Face 发布 VAKRA：评测 AI 智能体推理、工具调用与失败模式的可执行基准
Hugging Face 推出 VAKRA，一个面向企业级环境的工具接地可执行基准，用于评测 AI 智能体的组合推理与多步工作流执行能力。VAKRA 提供 8,000+ 本地托管 API、覆盖 62 个领域并配有领域文档，任务需 3-7 步推理链，包含 API Chaining、Tool Selection、Multi-Hop Reasoning 等四项任务，模型整体表现不佳。
Hugging Face BlogAI 评分2626 OpenMed 用 165 美元训练跨 25 物种的 mRNA 语言模型
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线，其 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 显著优于 ModernBERT。团队随后扩展到 25 个物种，用 55 GPU-hours 训练出 4 个生产模型，并搭建了目前其他开源项目尚未提供的物种条件化系统。
Hugging Face BlogAI 评分4242 Hugging Face 推出语音智能体评估框架 EVA
Hugging Face 发布端到端语音智能体评估框架 EVA，首次同时打分任务成功率（EVA-A）与对话体验（EVA-X），并开源含 50 个航司场景的数据集。对 20 个级联与音频原生系统的基准测试显示，准确率与体验之间存在一致的权衡：任务完成得好的智能体，用户体验往往更差。
Hugging Face BlogAI 评分2121 Hugging Face 发布 Alyah：面向阿拉伯语 LLM 阿联酋方言能力的评测基准
Hugging Face 团队推出 Alyah（阿联酋方言中意为"北极星"），一个专门评估阿拉伯语 LLM 阿联酋方言能力的基准，包含 1,173 条由阿联酋母语者手工采集的样本，每题四选一。评测覆盖 54 个模型（23 个基座、31 个指令微调），google/gemma-3-27b-pt 以 74.68 的准确率居首，tiiuae/Falcon-H1-34B-Base 为 73.66。
Hugging Face BlogAI 评分3838 AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产运维的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式，覆盖 4 个智能体。
Google ResearchAI 评分2727 Google 发布 MSEB 音频智能基准，覆盖 8 类听觉任务
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评估声音嵌入模型的 8 类听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排序与重建。
Hugging Face BlogAI 评分3030 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
Hugging Face BlogAI 评分5252 ServiceNow 发布 Apriel-H1：蒸馏 Mamba 混合架构实现 2.1 倍吞吐
ServiceNow 的 SLAM Lab 将 15B 推理模型 Apriel-Nemotron-15B-Thinker 蒸馏改造为 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在 50 层中替换 30 层为 Mamba。
Hugging Face BlogAI 评分4040 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，部分模型在私有集上出现明显性能下滑。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 ARE 研究环境
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后继基准 Gaia2 转向读写与噪声环境，配套 ARE 框架可复现评测，便于对照各家模型在真实任务上的差距。
Hugging Face BlogAI 评分3838 SandboxAQ 开源 SAIR 数据集：500 万+ 蛋白质-配体 3D 结构加速药物研发
SandboxAQ 在 Hugging Face 上开源 SAIR 数据集，包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 标签，采用 CC BY 4.0 许可免费开放。
Hugging Face Blog精选AI 评分6060 NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2
NVIDIA 发布 Nemotron Post-Training Dataset V2，将此前英文推理数据翻译为法语、德语、意大利语、日语和西班牙语五种语言，共 600 万多语言推理样本。
推荐理由：NVIDIA 公开了多语言推理数据集的构建流程与筛选比例，读者可据此了解后训练数据的翻译与幻觉控制方法。
Hugging Face BlogAI 评分3838 Kimina-Prover-RL：开源 Lean 4 定理证明训练管线，兼容 Verl
Kimina Prover 团队开源 kimina-prover-rl 训练管线，基于 DeepSeek-R1 式"先推理后生成"范式，用于 Lean 4 形式化定理证明，并完全兼容 Verl 框架。
Hugging Face BlogAI 评分2626 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 发布 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建。
Hugging Face BlogAI 评分2323 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个专门评测阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译成阿拉伯语的 HumanEval+ 与 MBPP+ 代码任务。
Hugging Face BlogAI 评分5050 TimeScope：你的视频大模型到底能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，将 5-10 秒的"针"片段插入 1 分钟至 8 小时的视频中，考察定位检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分2222 Arc Institute 虚拟细胞挑战赛入门指南
Arc Institute 发起 Virtual Cell Challenge，要求参赛者训练模型预测 CRISPR 沉默某个基因对（部分）未见细胞类型的影响，即"上下文泛化"。
Hugging Face BlogAI 评分3838 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场与新闻生成任务评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，同时接入 Polymarket 每周约 8 个问题，答案可随时间客观验证，且从设计上杜绝数据污染。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 Hugging Face Space 提交方案。
Hugging Face BlogAI 评分5757 Hugging Face 发布 ScreenSuite，面向 GUI 智能体的评测套件
Hugging Face 发布 ScreenSuite，称其为面向 GUI 智能体的最全面评测套件，统一整合了 13 个基准，覆盖感知与定位、单步动作、多步智能体三类能力。
Hugging Face BlogAI 评分5555 Hugging Face 研究：CodeAgent 结合结构化输出可提升智能体表现
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
Hugging Face BlogAI 评分2929 Hugging Face 开放 LLM 排行榜新增 CO₂ 排放数据：社区微调模型更低碳
Hugging Face 在 Open LLM Leaderboard 中新增模型推理的 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据。分析覆盖 Gemma、Llama、Mistral、Mixtral、Phi、Qwen2 等 2742 个模型，发现社区微调或合并模型通常比其官方基座模型更低碳，而部分 MoE 模型因推理时间过长导致排放高于预期。
Hugging Face BlogAI 评分2828 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial，推出 670 万条数据集的 LeMat-Bulk
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial，并发布首个数据集 LeMat-Bulk，整合 Materials Project、Alexandria 和 OQMD 三大材料数据库，形成 670 万条条目、7 种材料属性的统一数据格式，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分3636 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像，配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。