Open-R1 首周进展：复现 DeepSeek-R1 评测与合成数据管线
Hugging Face 的 Open-R1 项目发布首周进展，已能在 MATH-500 上复现 DeepSeek-R1 蒸馏系列模型的报告分数，并搭建了公开评测榜单。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 评测与合成数据管线的首周进展，可据此了解开源复现路线的实际难点。
全部AI 动态
全部动态
今日 2 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6262 Hugging Face 启动 Open-R1 项目，完整复现 DeepSeek-R1
Hugging Face 发起 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 的三步计划，读者可了解开源推理模型训练链路上仍缺哪些环节。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在回答前进行更多思考。研究发现，随着推理时计算增加，模型对对抗性攻击的鲁棒性随之提升，但这一过程存在权衡。
Hugging Face BlogAI 评分2929 Hugging Face 开放 LLM 排行榜新增 CO₂ 排放数据：社区微调模型更低碳
Hugging Face 在 Open LLM Leaderboard 中新增模型推理的 CO₂ 排放估算，基于 2024 年 6 月以来对 3000 多个模型的评测数据。分析覆盖 Gemma、Llama、Mistral、Mixtral、Phi、Qwen2 等 2742 个模型，发现社区微调或合并模型通常比其官方基座模型更低碳，而部分 MoE 模型因推理时间过长导致排放高于预期。
OpenAI News精选AI 评分6060 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略 deliberative alignment，直接向模型教授安全规范并教其如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
推荐理由：OpenAI 公开 o1 模型的对齐策略，读者可了解其如何把安全规范直接教给模型并让其推理。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，该数据集将 Big Bench Hard 的 1000 道题改编为音频形式。
Hugging Face BlogAI 评分2828 Hugging Face 与 Entalpic 联合发布开源材料发现项目 LeMaterial，推出 670 万条数据集的 LeMat-Bulk
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial，并发布首个数据集 LeMat-Bulk，整合 Materials Project、Alexandria 和 OQMD 三大材料数据库，形成 670 万条条目、7 种材料属性的统一数据格式，采用 CC-BY-4.0 许可。
Hugging Face BlogAI 评分3636 Hugging Face 社区发布文本到图像生成开放偏好数据集
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集，覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像，配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。
Hugging Face BlogAI 评分2929 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略，数据集与评测代码先盲测三个月再公开，随后更换新私有基准，以缓解数据污染。该基准同时覆盖多轮与单轮场景，是这一语言无关评测框架的首次应用。
Hugging Face BlogAI 评分2828 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式运行。该榜单整合超 20 个数据集，由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
OpenAI NewsAI 评分2727 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实性问题的能力。该基准聚焦短小、寻求事实的提问场景，评估模型的事实准确性。
OpenAI NewsAI 评分4141 OpenAI 简化并扩展连续时间一致性模型，两步采样媲美扩散模型
OpenAI 对连续时间一致性模型进行了简化、稳定化和规模化，仅用两步采样即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分2222 Hugging Face 发布 CinePile 2.0：用对抗式数据集精炼打造更强的长视频问答数据集
Hugging Face 发布 CinePile 2.0 长视频问答数据集，采用其提出的对抗式数据集精炼（adversarial dataset refinement）方法进行改进。
OpenAI NewsAI 评分2626 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名作出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦于模型响应的公平性问题。
OpenAI NewsAI 评分3838 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准聚焦智能体完成机器学习工程的能力评估。
Hugging Face BlogAI 评分2828 Hugging Face 推出 Open FinLLM Leaderboard：金融大模型专用评测榜单
Hugging Face 发布 Open FinLLM Leaderboard，为金融场景提供专门的 LLM 评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测，使用 Accuracy、F1、ROUGE 和 MCC 等指标，数据集来自金融行业真实挑战，如信用评分、欺诈检测和股价走势预测。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，涵盖 9 大类共 50 项任务，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务采用 Acc、EM、AUROC、Ppl 等指标，并区分阅读理解、事实知识、捷克语理解、语言建模、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等类别。
Hugging Face BlogAI 评分3636 Hugging Face 发布 FineVideo：4.3 万视频、3.4 千小时的开源视频数据集
Hugging Face 构建了 FineVideo 数据集，包含 4.3 万个视频、总时长 3.4 千小时，并配有丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 190 万条英文视频出发，经词密度与视觉动态性过滤后，用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。
OpenAI NewsAI 评分4848 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经人工验证的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，具体评估内容与结论暂无法确认。
Hugging Face BlogAI 评分2424 LAVE：用 LLM 对 Docmatix 做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation），用 Llama-2-Chat-7b 以 1-3 分制对答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5 的零样本表现。
OpenAI NewsAI 评分4040 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，让模型在无需大量人工数据采集的情况下学会安全行为并对齐。该方法旨在改善模型的安全行为表现。
Hugging Face BlogAI 评分3838 Hugging Face 发布 Docmatix：规模扩大 240 倍的文档视觉问答数据集
Hugging Face 发布 Docmatix 文档视觉问答（DocVQA）数据集，包含 240 万张图像和 950 万对 Q/A，规模是此前数据集的 240 倍。
OpenAI NewsAI 评分4040 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性，让 AI 给出的解题过程更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信，从而增强 AI 解决方案的可核查性。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AI 数学奥林匹克（AIMO）进步奖，在私有测试集 50 题中解出 29 题。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛与模型训练。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 登顶 GAIA 基准
Hugging Face 用 transformers.agents 构建的 ReactCodeAgent 在 GAIA 验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集为 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：官方披露 Code Agent 在 GAIA 上的成绩与实现细节，可看到代码动作与多智能体编排的具体做法。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角应对现实世界中的内容审核需求。
OpenAI NewsAI 评分2424 OpenAI 改进一致性模型（Consistency Models）训练技术
OpenAI 提出改进的一致性模型（Consistency Models）训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分2828 OpenAI 提出 Consistency Models 实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下实现快速生成，从而解决扩散模型因迭代采样导致的生成速度慢问题。扩散模型已在图像、音频和视频生成领域取得显著进展，但迭代采样过程拖慢了生成速度。
Hugging Face BlogAI 评分3636 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，要求 LLM 调用 139 个库中的多个函数作为工具，每个任务平均 5.6 个测试用例、分支覆盖率 99%。
OpenAI NewsAI 评分4343 从 GPT-4 中提取概念：OpenAI 用稀疏自编码器识别 1600 万个模式
OpenAI 用可扩展的稀疏自编码器技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。这些模式对应模型内部的可解释概念特征，规模远超以往同类工作。
Hugging Face BlogAI 评分4545 Meta 发布 CyberSecEval 2：大语言模型网络安全风险与能力评估框架
Meta 发布 CyberSecEval 2，用于评估 LLM 在生成不安全代码、协助网络攻击、提示注入、滥用代码解释器及自动化攻击能力等方面的表现。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率从 52% 降至 28%。提示注入仍是未解决问题，代码解释器滥用风险突出，全部代码已开源。
Hugging Face BlogAI 评分2424 Hugging Face 推出 Open Arabic LLM Leaderboard，评估阿拉伯语大模型
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和对比阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评估。模型经 HuggingFace Inference Endpoints 部署，由 lighteval 库通过 API 请求完成评测。
Hugging Face BlogAI 评分4242 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
OpenAI NewsAI 评分4242 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在解决这一问题。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face BlogAI 评分3838 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估窗口检测并防止数据污染。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超过 3000 万个文件、250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词构建到去污染、训练的完整合成数据流水线，可对照 Phi 系列的做法理解预训练数据如何规模化生成。