IBM 研究提出一致性指南，将 ReAct 智能体的 Pass^5 一致性差距从 24.4pp 缩小到 12.0pp
IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
推荐理由：原文给出 Mean@k 与 Pass^k 的差距数据及一致性指南的改进幅度，读者可据此判断智能体可靠性的评估方式。
#开源生态
#开源生态
今日 0 条Hugging Face Blog精选AI 评分6666
Hugging Face BlogAI 评分5252 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个印度语言。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧、掩码实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Microsoft ResearchAI 评分3838 微软 Skala 1.1 发布：训练数据增 2.5 倍，已集成进 CP2K
微软研究院发布深度学习 DFT 泛函 Skala 1.1，训练数据量为此前公开版本的 2.5 倍，在 GMTKN55 基准 55 个类别中 32 项排名第一，加权平均误差 2.8 kcal/mol。该版本已上线 CP2K，并正在集成进 Psi4、FHI-aims、ORCA 和 VASP，同时微软推出持续追踪各版本计算性能的 living benchmark。
Hugging Face Blog精选AI 评分7171 Hugging Face 用编码智能体复现 ICML 2026 的 2,226 篇论文
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战，1,221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体逐条复现论文主张，共发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文，约占会议论文的三分之一。
推荐理由：Hugging Face 用 1,200 多名社区成员和编码智能体复现 ICML 2026 论文，给出了大规模论文审计的可行路径与人类角色的具体观察。
Berkeley AI Research精选AI 评分6262 从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley Sky Lab 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端，通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由：K-Search 把 CUDA 内核经验迁移到 Apple Silicon，读者可看到跨平台内核优化的具体方法与实测数字。
Hugging Face BlogAI 评分3838 DiScoFormer：一个 Transformer 同时估计密度与 score，跨分布通用
Hugging Face 博客介绍 DiScoFormer（Density and Score Transformer），一个 Transformer 模型可在单次前向传播中同时估计数据分布的密度与 score，无需针对新分布重新训练。
Hugging Face BlogAI 评分3636 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 的 sim-to-real 验证轨道。
Hugging Face BlogAI 评分2828 QIMMA：Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜
Hugging Face 发布 QIMMA（阿拉伯语"顶峰"），一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜。QIMMA 整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖文化、STEM、法律、医疗、安全、诗歌与编程 7 大领域，其中 99% 为原生阿拉伯语内容，并首次在阿拉伯语排行榜中引入代码评测。
Google Research精选AI 评分6060 Google Research 发布 WAXAL：覆盖 27 种非洲语言的开放语音数据集
Google Research 发布 WAXAL，一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集，采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音，以及超过 565 小时用于 TTS 的高保真录音，由非洲高校与社区组织主导采集，覆盖 26 个以上国家、超过 1 亿使用者。
推荐理由：Google Research 联合非洲高校发布 27 种语言的开放语音数据集，可了解低资源语音数据的采集方法与许可条件。
Google ResearchAI 评分5252 Google 发布 ATLAS：面向多语言模型的实用缩放律
Google Research 发布 ATLAS（自适应迁移缩放律），用于指导多语言模型的模型规模、数据量与语言配比选择，论文将在 ICLR 2026 展示。该研究基于 774 次训练运行、10M–8B 参数模型、400+ 语言数据和 48 种语言评测，并给出 1,400 对语言之间的迁移关系矩阵。
Hugging Face BlogAI 评分2121 Hugging Face 发布 Alyah：面向阿拉伯语 LLM 阿联酋方言能力的评测基准
Hugging Face 团队推出 Alyah（阿联酋方言中意为"北极星"），一个专门评估阿拉伯语 LLM 阿联酋方言能力的基准，包含 1,173 条由阿联酋母语者手工采集的样本，每题四选一。评测覆盖 54 个模型（23 个基座、31 个指令微调），google/gemma-3-27b-pt 以 74.68 的准确率居首，tiiuae/Falcon-H1-34B-Base 为 73.66。
Hugging Face BlogAI 评分3030 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
Hugging Face BlogAI 评分5252 ServiceNow 发布 Apriel-H1：蒸馏 Mamba 混合架构实现 2.1 倍吞吐
ServiceNow 的 SLAM Lab 将 15B 推理模型 Apriel-Nemotron-15B-Thinker 蒸馏改造为 Mamba 混合架构，旗舰版 Apriel-H1-15b-Thinker-SFT 在 50 层中替换 30 层为 Mamba。
Hugging Face BlogAI 评分3838 NVIDIA 发布 Nemotron-Personas-India：面向主权 AI 的合成印度人物数据集
NVIDIA 发布 Nemotron-Personas-India，首个对齐印度真实人口、地理与文化分布的开放合成 Indic 人物数据集，采用 CC BY 4.0 许可。
Hugging Face BlogAI 评分4040 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，部分模型在私有集上出现明显性能下滑。
Hugging Face BlogAI 评分4040 NVIDIA 发布 Nemotron-Personas-Japan：面向主权 AI 的日语合成数据集
NVIDIA 发布首个面向日本的主权 AI 开源合成数据集 Nemotron-Personas-Japan，含 600 万条日语合成人物画像（100 万条记录、每条 6 个画像），总 token 约 14 亿，采用 CC BY 4.0 许可，可商用。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 ARE 研究环境
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后继基准 Gaia2 转向读写与噪声环境，配套 ARE 框架可复现评测，便于对照各家模型在真实任务上的差距。
Hugging Face Blog精选AI 评分6060 NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2
NVIDIA 发布 Nemotron Post-Training Dataset V2，将此前英文推理数据翻译为法语、德语、意大利语、日语和西班牙语五种语言，共 600 万多语言推理样本。
推荐理由：NVIDIA 公开了多语言推理数据集的构建流程与筛选比例，读者可据此了解后训练数据的翻译与幻觉控制方法。
Hugging Face BlogAI 评分5757 Hugging Face 发布 ScreenSuite，面向 GUI 智能体的评测套件
Hugging Face 发布 ScreenSuite，称其为面向 GUI 智能体的最全面评测套件，统一整合了 13 个基准，覆盖感知与定位、单步动作、多步智能体三类能力。
Hugging Face BlogAI 评分5555 Hugging Face 研究：CodeAgent 结合结构化输出可提升智能体表现
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
Hugging Face BlogAI 评分2929 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略，数据集与评测代码先盲测三个月再公开，随后更换新私有基准，以缓解数据污染。该基准同时覆盖多轮与单轮场景，是这一语言无关评测框架的首次应用。
Hugging Face BlogAI 评分2828 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式运行。该榜单整合超 20 个数据集，由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并区分阅读理解、事实知识、捷克语理解、语言建模、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等类别。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：规模扩大 240 倍的文档视觉问答数据集
Hugging Face 发布 Docmatix 文档视觉问答（DocVQA）数据集，包含 240 万张图像和 950 万对 Q/A，规模是此前数据集的 240 倍。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AI 数学奥林匹克（AIMO）进步奖，在私有测试集 50 题中解出 29 题。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛与模型训练。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用 transformers.agents 构建的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集为 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：官方披露 Code Agent 在 GAIA 上的成绩与实现细节，可看到代码动作与多智能体编排的具体做法。
Hugging Face BlogAI 评分2424 Hugging Face 推出 Open Arabic LLM Leaderboard，评估阿拉伯语大模型
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和对比阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评估。模型经 HuggingFace Inference Endpoints 部署，由 lighteval 库通过 API 请求完成评测。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超过 3000 万个文件、250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词构建到去污染、训练的完整合成数据流水线，可对照 Phi 系列的做法理解预训练数据如何规模化生成。
Hugging Face BlogAI 评分2222 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩国大语言模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，用于评测韩语大语言模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并新建私有测试集以防止数据污染。
Hugging Face BlogAI 评分3434 Open LLM Leaderboard 深度解析 DROP 基准评分异常
Open LLM Leaderboard 新增 DROP 基准后，绝大多数模型 f1-score 低于 10 分。Hugging Face 排查发现，归一化步骤会忽略后接非空格空白符的数字答案，且以 . 作为停止词会截断浮点答案、让长回答的高质量模型 f1 更低。改用 \n 作为停止词重新计算后，分数与模型整体表现的相关性明显改善。
Hugging Face BlogAI 评分3838 Hugging Face 研究：基础模型能否像人类一样标注数据？
Hugging Face 通过扩展 Open LLM Leaderboard 评估套件，对比了人类标注与 GPT-4 对开源模型输出的偏好评分。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC 协作训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 等机构提出 DeDLOC 协作分布式训练方法，可自适应参与者的网络与硬件条件，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者和家用 GPU 预训练出孟加拉语模型，读者可了解分布式协作训练如何绕开算力门槛。