ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，通过训练中 inflight 权重更新，在不停推理的前提下持续保持最优 batch size，缓解高吞吐推理与 on-policy 数据采集之间的取舍。
#推理
#推理
今日 1 条Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分3636 TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token，并分析了并发请求下 prefill 与 decode 两阶段的性能差异。
OpenAI News精选AI 评分8282 OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 和 o4-mini 的系统卡，称两款模型将前沿推理能力与完整工具能力结合。可用工具包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆。
推荐理由：官方系统卡披露 o3 与 o4-mini 的推理能力与工具调用范围，可对照此前模型看能力边界。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队问题的解决方案：在 vLLM 等推理引擎前加一层 LLM-Server，为每个用户和模型维护独立队列并采用轮询调度，避免"重度用户"阻塞他人。
Hugging Face Blog精选AI 评分6666 Hugging Face 解读 DeepSeek-V3 0324：MIT 许可与基准提升
DeepSeek 本周在 Hugging Face Hub 上线 DeepSeek-V3 0324，架构与初代 DeepSeek-V3 相同，但改用 MIT 许可，重点提升指令遵循、代码与数学能力。
推荐理由：梳理 DeepSeek-V3 0324 的基准提升与 MIT 许可变化，并给出本地部署与安全使用的具体路径。
Hugging Face Blog精选AI 评分6262 Open R1 更新第三期：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型
Hugging Face 的 Open R1 项目发布第三期更新，聚焦复现 DeepSeek-R1 配方中的竞赛编程代码推理部分。
推荐理由：Open R1 公开了 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型，并给出五条蒸馏训练经验，可迁移到自己的代码推理训练流程。
OpenAI News精选AI 评分6262 OpenAI 研究用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究称，前沿推理模型在有机会时会利用规则漏洞，可以用 LLM 监控其思维链来检测这类作弊行为。研究还发现，惩罚模型的不良想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 公开了用 LLM 监控思维链检测前沿推理模型作弊的发现，并指出惩罚坏想法会让模型隐藏意图。
OpenAI News精选AI 评分6969 OpenAI 推出 deep research 智能体
OpenAI 发布 deep research，一个用推理综合大量在线信息、替用户完成多步研究任务的智能体。该功能今日面向 Pro 用户开放，Plus 和 Team 用户随后可用。
推荐理由：OpenAI 官方给出 deep research 的定位与开放节奏，可据此判断多步研究任务会怎样被智能体接手。
OpenAI News精选AI 评分7575 OpenAI 发布 o3-mini 模型
OpenAI 发布 o3-mini 模型，官方页面已上线，但正文内容未能抓取，具体能力与参数暂不明确。
OpenAI NewsAI 评分4242 OpenAI 推理模型将用于美国国家实验室推动科学突破
OpenAI 最新一代推理模型将供美国国家实验室的顶尖科学家使用，以推动科学突破。该合作旨在加强美国在 AI 领域的领导地位。
Hugging Face BlogAI 评分3838 NVIDIA KVPress 如何压缩 KV Cache 实现长上下文 LLM
NVIDIA 推出 Python 工具包 KVPress，通过多种压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，该数据集将 Big Bench Hard 的 1000 道题改编为音频形式。
Hugging Face BlogAI 评分5858 IBM 联合普林斯顿等发布 Bamba-9B 混合 Mamba2 模型
IBM 联合普林斯顿、CMU 和 UIUC 发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。在 vLLM 中，该模型相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速，并已支持 transformers、vLLM、TRL 和 llama.cpp。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon3 开源模型家族，含 1B 至 10B 五款基础模型
阿布扎比技术创新研究院（TII）发布 Falcon3 开源模型家族，包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型，全部在 100 亿参数以下。
推荐理由：Falcon3 家族覆盖 1B 到 10B 五款模型，给出了训练数据规模与基准对比，可据此判断小尺寸开源模型的选型空间。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步改进位置编码方案，最终推导出 Llama 3.2 及多数现代 Transformer 使用的 RoPE（旋转位置编码）。文章以 Llama 3.2 1B 为例演示：不加位置信息时，多头自注意力对同一 token 在不同位置的输出完全相同。作者提出位置编码应满足唯一性、线性关系、长度泛化、确定性生成和可扩展至多维等五项理想属性。
Hugging Face BlogAI 评分3131 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 发布博客详解 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论形式直接对抗，目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数功能，以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前多数模型已具备参与辩论的能力。
Hugging Face Blog精选AI 评分6262 Universal Assisted Generation：用任意助手模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让目标模型与助手模型不再需要共享 tokenizer，可跨模型家族配对。
推荐理由：Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法，给出了可对照的加速数据和 Transformers 调用方式。
Mistral AI精选AI 评分6767 Mistral AI 发布 Ministral 3B 和 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧与本地推理的模型 Ministral 3B 和 Ministral 8B，官方称其在 10B 以下级别刷新了知识、常识、推理、函数调用和效率的表现。
推荐理由：官方给出两款端侧小模型的能力定位、上下文长度与 API 定价，可据此判断本地推理的选型与成本。
Hugging Face BlogAI 评分5050 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码方法，可根据助手模型置信度逐 token 动态调整推测前瞻长度，文本生成最高提速 2.7 倍。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，这是首个通用大规模纯 Mamba 模型，采用 TII Falcon Mamba 7B License 1.0 开放获取，已在 Hugging Face 生态上线。
推荐理由：TII 发布首个纯 Mamba 架构的 7B 开源模型，并给出与同规模 Transformer 的基准对比和长序列内存数据。
Mistral AI精选AI 评分7878 Mistral AI 发布 Mistral Large 2，123B 参数支持 128k 上下文
Mistral AI 发布 Mistral Large 2，模型规模 123B 参数，支持 128k 上下文窗口和数十种语言，可在单节点上实现大吞吐推理。官方称其在 MMLU 上预训练版本准确率达 84.0%，代码与推理表现大幅超过上一代 Mistral Large，并与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当。
推荐理由：Mistral Large 2 以 123B 参数实现单节点推理，并给出与 GPT-4o、Claude 3 Opus、Llama 3 405B 的同管线对比数据。
Mistral AIAI 评分5050 Mistral AI 发布数学推理模型 Mathstral 7B
Mistral AI 发布基于 Mistral 7B 的数学推理模型 Mathstral 7B，在 MATH 上得分 56.6%、MMLU 上得分 63.47%，在同规模模型中达到 SOTA。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AI 数学奥林匹克（AIMO）进步奖，在私有测试集 50 题中解出 29 题。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛与模型训练。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face BlogAI 评分3838 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%，且模型排名也随之改变。为此 Hugging Face 与 .txt 合作，尝试用结构化生成库 Outlines 约束模型输出，以降低提示词格式带来的评测方差。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，采用 Classic 与 Reflect 两种提示策略生成推理链，并称对训练数据污染更具鲁棒性。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器与 8K 上下文带来的变化。
Mistral AI精选AI 评分8282 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布最新开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅激活 39B，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本与能力定位。
Mistral AI精选AI 评分8080 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出旗舰模型 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其能力定位与接入方式。
Hugging Face BlogAI 评分2929 Hugging Face 上线 NPHardEval 排行榜：用复杂度类别动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类别评估 LLM 推理能力。
Mistral AI精选AI 评分8585 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数 46.7B，每个 token 仅激活 12.9B 参数，推理速度比 Llama 2 70B 快 6 倍，在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，支持 32k token 上下文和英法意德西五种语言。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比边界。
Hugging Face Blog精选AI 评分8080 Mistral 发布 Mixtral 8x7B，Hugging Face 全面集成
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，8 个专家模型每个时间步激活 2 个，总参数量约 45B，支持 32k token 上下文，在多数基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：文章给出 Mixtral 8x7B 的架构说明、基准对比与 Hugging Face 全套集成方式，便于判断开源 MoE 模型的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由：官方给出单行代码替换即可提速的量化数据与 FP8 支持范围，便于判断迁移成本。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成：optimum-neuron 部署指南
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 为例演示。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数语言模型 Mistral 7B，采用 Apache 2.0 许可，可无限制使用，并提供了参考实现、vLLM 推理服务器、Skypilot 及 HuggingFace 等使用方式。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并给出 Apache 2.0 许可与本地、云端部署路径。
Hugging Face BlogAI 评分3434 如何在生产环境中优化 LLM：低精度、Flash Attention 与架构创新
Hugging Face 博客梳理了生产环境部署 LLM 的三大优化方向：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分9090 Meta 发布 Llama 2，Hugging Face 同步上线 12 个开放模型
Meta 发布 Llama 2 系列开放大语言模型，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可，代码、预训练模型和微调模型同日放出。
推荐理由：Meta 开放 Llama 2 商用许可，Hugging Face 同步给出推理、量化与微调的完整接入路径。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测有效：Autoformer 已加入 🤗 Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督提升数学推理，并说明其对思维链对齐的作用。