OpenAI 如何定义和评估 LLM 中的政治偏见
OpenAI 公布了一套面向 ChatGPT 政治偏见的新评估方法，采用更贴近真实场景的测试方式来提升客观性并减少偏见。该方法试图为 LLM 政治偏见的定义与衡量提供更可验证的标准。
全部AI 动态
全部动态
今日 2 条OpenAI NewsAI 评分2222
Hugging Face BlogAI 评分4040 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言，聚焦法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测，部分模型在私有集上出现明显性能下滑。
Hugging Face BlogAI 评分4040 NVIDIA 发布 Nemotron-Personas-Japan：面向主权 AI 的日语合成数据集
NVIDIA 发布首个面向日本的主权 AI 开源合成数据集 Nemotron-Personas-Japan，含 600 万条日语合成人物画像（100 万条记录、每条 6 个画像），总 token 约 14 亿，采用 CC BY 4.0 许可，可商用。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Gaia2 智能体基准与 ARE 研究环境
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后继基准 Gaia2 转向读写与噪声环境，配套 ARE 框架可复现评测，便于对照各家模型在真实任务上的差距。
OpenAI NewsAI 评分2222 OpenAI 研究揭示人们如何使用 ChatGPT
OpenAI 基于迄今规模最大的 ChatGPT 使用研究，展示了该工具如何在个人与职业场景中创造经济价值。研究显示，ChatGPT 的采用正从早期用户向更广泛人群扩展，逐步缩小使用差距，并成为日常生活的一部分。
OpenAI NewsAI 评分3434 OpenAI 研究：语言模型为何会产生幻觉
OpenAI 新研究解释了语言模型产生幻觉的原因，并指出改进评测方法可以提升 AI 的可靠性、诚实性与安全性。
Hugging Face BlogAI 评分3838 SandboxAQ 开源 SAIR 数据集：500 万+ 蛋白质-配体 3D 结构加速药物研发
SandboxAQ 在 Hugging Face 上开源 SAIR 数据集，包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构，每个结构均配有 ChEMBL 或 BindingDB 的实验 IC₅₀ 标签，采用 CC BY 4.0 许可免费开放。
Berkeley AI ResearchAI 评分2424 word2vec 究竟学到了什么？伯克利提出可定量预测的学习理论
伯克利 AI 研究团队证明，在若干温和近似条件下，word2vec 的学习问题可化简为无权重最小二乘矩阵分解，其梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。该矩阵仅由词共现概率 P(i,j) 与一元概率 P(i) 定义，从小初始化训练时模型按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，理论预测与数值实验高度吻合。
Hugging Face Blog精选AI 评分6060 NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2
NVIDIA 发布 Nemotron Post-Training Dataset V2，将此前英文推理数据翻译为法语、德语、意大利语、日语和西班牙语五种语言，共 600 万多语言推理样本。
推荐理由：NVIDIA 公开了多语言推理数据集的构建流程与筛选比例，读者可据此了解后训练数据的翻译与幻觉控制方法。
Hugging Face BlogAI 评分3838 Kimina-Prover-RL：开源 Lean 4 定理证明训练管线，兼容 Verl
Kimina Prover 团队开源 kimina-prover-rl 训练管线，基于 DeepSeek-R1 式"先推理后生成"范式，用于 Lean 4 形式化定理证明，并完全兼容 Verl 框架。
Hugging Face BlogAI 评分3333 Hugging Face 发布 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 交互式文字游戏，测试 LLM 作为智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分2626 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 发布 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并基于 Lighteval 构建。
Hugging Face BlogAI 评分2323 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم），一个专门评测阿拉伯语 LLM 在 STEM 与代码生成上表现的多组件基准，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译成阿拉伯语的 HumanEval+ 与 MBPP+ 代码任务。
Hugging Face BlogAI 评分5050 TimeScope：你的视频大模型到底能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，将 5-10 秒的"针"片段插入 1 分钟至 8 小时的视频中，考察定位检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分2222 Arc Institute 虚拟细胞挑战赛入门指南
Arc Institute 发起 Virtual Cell Challenge，要求参赛者训练模型预测 CRISPR 沉默某个基因对（部分）未见细胞类型的影响，即"上下文泛化"。
Hugging Face BlogAI 评分3838 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场与新闻生成任务评估 AI 智能体预测未来事件的能力。该基准通过 smolagents 智能体抓取新闻并用 DeepSeek-V3 生成预测问题，同时接入 Polymarket 每周约 8 个问题，答案可随时间客观验证，且从设计上杜绝数据污染。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 Hugging Face Space 提交方案。
OpenAI NewsAI 评分3838 OpenAI 研究错误回答训练如何导致模型失准泛化
OpenAI 研究发现，用错误回答训练语言模型会引发更广泛的失准行为，并识别出驱动这一行为的内部特征，该特征可通过极少量微调逆转。
Hugging Face BlogAI 评分5757 Hugging Face 发布 ScreenSuite，面向 GUI 智能体的评测套件
Hugging Face 发布 ScreenSuite，称其为面向 GUI 智能体的最全面评测套件，统一整合了 13 个基准，覆盖感知与定位、单步动作、多步智能体三类能力。
Hugging Face BlogAI 评分5555 Hugging Face 研究：CodeAgent 结合结构化输出可提升智能体表现
Hugging Face 分享研究，将 CodeAgent 的思考与代码强制以结构化 JSON 生成，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均高出 2-7 个百分点。
OpenAI NewsAI 评分4242 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 推出医疗 AI 评估基准 HealthBench，用于在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3737 HELMET：全面评估长上下文语言模型的基准发布
普林斯顿团队发布 HELMET 长上下文语言模型评测基准，已评估 59 个近期 LCLM，并将在 ICLR 2025 展示。该基准针对现有评测过度依赖 NIAH 等合成任务、与实际下游表现相关性差的问题，从多样性、可控性和可靠性三方面改进。
OpenAI NewsAI 评分2222 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量智能体在网页浏览任务中的能力表现。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出阿拉伯语评测榜单，新增指令遵循基准
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space，统一阿拉伯语 AI 评测入口，目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3636 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究，具体任务、评分方式与结果尚未在原文中披露。
OpenAI NewsAI 评分3232 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索 ChatGPT 情感使用与情绪健康的早期研究方法。该合作聚焦于研究 AI 聊天机器人在情感层面的使用方式及其对用户心理健康的影响。
Hugging Face Blog精选AI 评分6262 Open R1 更新第三期：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型
Hugging Face 的 Open R1 项目发布第三期更新，聚焦复现 DeepSeek-R1 配方中的竞赛编程代码推理部分。
推荐理由：Open R1 公开了 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型，并给出五条蒸馏训练经验，可迁移到自己的代码推理训练流程。
Hugging Face Blog精选AI 评分7070 Hugging Face 与 Yaak 发布 L2D：全球最大开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D（Learning to Drive），称其为全球最大的开源自动驾驶数据集，包含 90+ TB 多模态数据、5000+ 小时驾驶记录，来自德国 30 座城市的 60 辆驾校车辆。
推荐理由：L2D 以 90TB 多模态驾驶数据补齐端到端自动驾驶训练集缺口，并直接接入 LeRobot 训练管线。
OpenAI News精选AI 评分6262 OpenAI 研究用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究称，前沿推理模型在有机会时会利用规则漏洞，可以用 LLM 监控其思维链来检测这类作弊行为。研究还发现，惩罚模型的不良想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 公开了用 LLM 监控思维链检测前沿推理模型作弊的发现，并指出惩罚坏想法会让模型隐藏意图。
OpenAI NewsAI 评分3636 OpenAI 发布 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实外包项目为题目来源，衡量模型在实际软件工程工作中的变现能力。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测平台。初版 OALL 上线不到 7 个月吸引超 46,000 名访客，收到 180 多个机构提交的 700 多个模型，参数规模从 1B 到 70B 以上。新版回应社区对阿拉伯语专项任务直接评测、基准透明度和方言多样性数据集的诉求。
Hugging Face BlogAI 评分3838 Adyen 与 Hugging Face 联合发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合推出 DABstep，一个面向多步推理的数据分析智能体基准，包含 450+ 个源自 Adyen 真实业务的数据分析任务。评测显示，当前最强的推理型智能体准确率仅 16%，凸显模型在真实数据分析场景中的巨大差距。该基准同时包含结构化与非结构化数据，任务答案采用二元判定，仅需代码执行环境即可运行并提交至实时排行榜。
Hugging Face BlogAI 评分2929 Hugging Face 开放 LLM 排行榜新增 CO₂ 排放数据：社区微调模型更低碳
Hugging Face 在 Open LLM Leaderboard 中新增模型推理的 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据。分析覆盖 Gemma、Llama、Mistral、Mixtral、Phi、Qwen2 等 2742 个模型，发现社区微调或合并模型通常比其官方基座模型更低碳，而部分 MoE 模型因推理时间过长导致排放高于预期。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，该数据集将 Big Bench Hard 的 1000 道题改编为音频形式。
Hugging Face BlogAI 评分2828 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial，推出 670 万条数据集的 LeMat-Bulk
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial，并发布首个数据集 LeMat-Bulk，整合 Materials Project、Alexandria 和 OQMD 三大材料数据库，形成 670 万条条目、7 种材料属性的统一数据格式，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分3636 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像，配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。
Hugging Face BlogAI 评分2929 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略，数据集与评测代码先盲测三个月再公开，随后更换新私有基准，以缓解数据污染。该基准同时覆盖多轮与单轮场景，是这一语言无关评测框架的首次应用。
Hugging Face BlogAI 评分2828 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式运行。该榜单整合超 20 个数据集，由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
Hugging Face BlogAI 评分2222 Hugging Face 发布 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼（adversarial dataset refinement）方法进行改进。