vLLM 的 transformers 建模后端实现原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 重写源码,在运行时动态应用推理相关的层融合,从而匹配自定义实现的性能。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测对比与启用方式,读者可据此判断是否省去自定义移植。
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 重写源码,在运行时动态应用推理相关的层融合,从而匹配自定义实现的性能。
推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测对比与启用方式,读者可据此判断是否省去自定义移植。
Hugging Face 与 Amazon SageMaker AI 推出深度链接集成,用户在支持的模型页点击 Customize on SageMaker AI 或 Deploy on SageMaker AI,即可一键进入 SageMaker Studio,模型已预加载、环境自动配置。
Google Research 在 Nature Cities 发表首个大规模真实世界研究,通过修改 Google Maps 算法将不到 2% 的行程引导至相似耗时的替代路线,在美国 10 座城市测试后,目标路段行驶速度中位数提升约 2%,燃油消耗率中位数下降 0.5% 至 1.0%。
微软在 Build 2026 宣布 Foundry Managed Compute 及 Hugging Face 模型集合,将 Hugging Face 生态的开源权重模型以每周刷新的方式一键部署到 Foundry 托管 GPU 平台。
推荐理由:微软把 Hugging Face 开源模型的部署运维层接进 Foundry,读者可据此判断开源模型进入企业生产环境的门槛变化。
UC Berkeley 团队提出,随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分低于 $0.10,数据系统面临三大新挑战。
Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略、奖励模型 API 和六个新仿真基准。
推荐理由:原文给出世界模型策略、奖励模型 API 与六个仿真基准,读者可据此判断机器人学习闭环的工程化程度。
SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端,用一个 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
推荐理由:原文给出 hf:// 挂载方式与免出网费的具体机制,读者可据此判断跨云训练与推理的存储成本变化。
Hugging Face 为 Kernels 项目引入 Hub 上的 "kernel" 新仓库类型,并新增可信发布者与代码签名两层安全机制,默认只加载可信发布者的 kernel。项目还重构了 kernels 与 kernel-builder 的 CLI,新增对 Torch Stable ABI 和 Apache TVM FFI 的支持,为智能体驱动的 kernel 开发打下基础。
Hugging Face 发布开源基准 ScarfBench,用于评测 AI 智能体在企业级 Java 框架迁移中的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。评测显示最强智能体行为成功率不足 10%,Claude Code 报告 30 个应用中 29 个构建成功,实际仅 22 个通过。
OpenAI 工程师利用大规模 core dump 分析排查基础设施中的罕见崩溃,同时发现了一处硬件故障和一个存在 18 年之久的软件 bug。
HP Inc. 与 OpenAI 启动 Frontier 战略合作,将 AI 部署到客户体验、软件开发和企业运营中。此次合作在双方既有 OpenAI Frontier 伙伴关系基础上升级扩展。
Google Research 提出一种新架构,把多 Token 预测(MTP)头接到已冻结的 Gemini Nano v3 模型上,在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由:Google 把 MTP 头接到冻结的 Gemini Nano v3 上,读者可了解端侧推测解码如何在内存受限下提速。
Hugging Face 发布教程,介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、OpenAI 兼容的 vLLM 端点,按秒计费,无需自行配置服务器或 Kubernetes。
推荐理由:原文给出从启动到查询、清理的完整命令链路,读者可据此在 HF 基础设施上自建 OpenAI 兼容端点。
Google Research 提出线性弹性缓存,把页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小。在 Spanner 生产环境测试数月后,内存用量降低 15.5%,缓存未命中仅增加 5.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。该方法用浅层决策树预测页面 TTL,并已在 CIDR 发表。
NVIDIA 发布开源库 NeMo AutoModel,在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核,微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%,且只需改动一行 import。
推荐理由:原文给出同一 from_pretrained() 接口下的吞吐与显存对比数据,读者可据此判断 MoE 微调的迁移成本。
Mistral 为 Connectors 推出多项新能力:按 workspace 或组织管理连接器访问权限的管理员控制、带连接器作用域的 API key、支持多账号登录的连接器均已 GA。
Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可打包进单个容器完全自托管。该模型在 OlmOCRBench 上取得 85.20 的总体最高分,OmniDocBench 得分 93.07,独立标注者在 600 多份文档的盲评中平均 72% 的情况下更偏好其输出。
推荐理由:OCR 4 把边界框、块分类和置信度分数一并输出,读者可据此判断文档解析如何接入 RAG 与智能体流程。
Hugging Face 将 huggingface_hub 的发版周期从每 4 到 6 周缩短到每周一次,整套流程跑在单个 GitHub Actions workflow 上,由 OpenCode 驱动开放权重模型(当前为 Z.ai 的 GLM-5.2)起草 release notes 和 Slack 公告。
推荐理由:Hugging Face 公开了每周发版的完整 CI 流程,其中模型起草加确定性校验的循环可直接迁移到其他项目。
Google Chrome 团队开发者关系工程师 Thomas Steiner 在 Hugging Face 博客中,试验了拟议的 Cross-Origin Storage(COS)API 如何解决 Transformers.js 的跨源缓存重复问题。
Hugging Face 博客介绍了用本地模型 Gemma 和 Qwen 在 agent harness 中对 OpenClaw 仓库的 issue 和 PR 做分类分诊的方案。
推荐理由:作者用本地模型加受限 shell 做 PR 分类,给出了可复用的 agentic classification 配方与实测对比数据。
三星电子在全球范围内向员工部署 ChatGPT Enterprise 和 Codex,这是 OpenAI 规模最大的企业 AI 落地项目之一。
AWS 开源的 Strands Robots SDK(Apache 2.0)把 LeRobot 栈封装成 AgentTools,让一个 Strands 智能体在单次循环里完成仿真录制演示、推送 LeRobotDataset 到 Hub、跑策略、再以改一个关键字参数的方式部署到实体 SO-101,并通过 Zenoh 对等网格广播指令到多台机器人。
推荐理由:AWS 团队给出从 Hub 数据集到实体机器人的五步流程,可看到仿真与真机共用同一数据集格式的工程取舍。
OpenAI 宣布推出 Partner Network,并投入 1.5 亿美元,帮助全球合作伙伴加速企业级 AI 的采用、部署与转型。
加州大学圣地亚哥分校在 Google 支持下,正用 2000 台退役 Pixel 手机的主板搭建数据中心,为数百名师生提供低成本、低碳的云计算。SPEC 基准显示 25-50 台手机约等于一台现代服务器,手机主板占硬件隐含碳排约 50%。该系统预计 2026 年秋季上线。
PyTorch 性能剖析系列第二部分用 nn.Linear(bias=True)替换手写的 matmul-add,并堆叠三层加激活构成 MLP,在 NVIDIA A100-SXM4-80GB 上分析 profiler trace。
OpenAI 模型与 Codex 现可通过 Oracle Cloud 访问,企业可使用现有云承诺额度来构建和部署 AI。该方式提供企业级安全与治理能力。
Google DeepMind 发布实验性开放模型 DiffusionGemma,采用文本扩散方式并行生成整块文本,在专用 GPU 上推理速度最高提升 4 倍。
推荐理由:官方给出 26B MoE 文本扩散模型的开放权重与硬件门槛,读者可据此判断本地低并发推理的适用边界。
Hugging Face 发布教程,介绍如何保留 GitHub Actions 调度、把 CI 任务放到 Hugging Face Jobs 上运行,通过 huggingface/jobs-actions 桥接把 GitHub Actions 任务变成 HF Job 内的临时自托管 runner。
NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,将多模态输入、多语言覆盖、自定义企业策略执行和可审计推理链统一到一次推理调用中。
推荐理由:NVIDIA 发布 4B 多模态安全模型,支持自定义策略与可审计推理链,并公开训练数据集。
Hugging Face 重构官方命令行工具 hf CLI,使其同时适配人类用户和编码智能体,通过环境变量自动识别 Claude Code、Codex、Cursor 等智能体并切换输出格式。
推荐理由:官方给出 hf CLI 面向智能体重构的细节与基准数据,可据此判断命令行工具如何适配编码智能体。
Google Research 在 GitHub 上以 Apache 2.0 许可开源其水文建模框架,让各国气象与水文机构用与 Google Flood Hub 相同的架构和相近训练数据训练 AI 洪水预报模型。
推荐理由:Google 把驱动 Flood Hub 的水文模型架构与训练流程开源,读者可了解其能力边界与接入方式。
Hcompany 发布 Holo3.1 系列 computer-use 模型,基于 Qwen 家族,覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重用于本地推理。
推荐理由:Holo3.1 给出跨环境、跨框架与本地量化的具体数据,可据此判断端侧 computer-use 智能体的部署成本。
JetBrains 发布 Mellum2,一个从零训练的 12B 参数 Mixture-of-Experts 模型,覆盖自然语言与代码,每个 token 仅激活 2.5B 参数,以 Apache 2.0 许可开源。官方称其面向路由、RAG、摘要、子智能体和高吞吐编码等低延迟场景,相比同规模模型推理速度提升 2 倍以上。模型已在 Hugging Face 开放下载,架构、训练与评测细节见技术报告。
推荐理由:JetBrains 开源 12B MoE 模型,激活 2.5B 参数并主打 2 倍以上推理速度,可据此判断轻量模型在 RAG 与子智能体中的定位。
Hugging Face 博客发文指出,企业级 AI 规模化落地的关键不在 LLM 本身,而在 agentic layer 中的 agent logic——即知识图谱、算法、程序分析库等软件原语,可主动引导 LLM 聚焦企业工作流、压缩上下文空间。
OpenAI 在密歇根破土动工建设 1GW 数据中心项目,该项目属于 Stargate 计划的一部分。OpenAI 表示,此举旨在建设 AI 基础设施,以扩大使用范围、创造就业并支持社区。
推荐理由:OpenAI 在密歇根动工 1GW 数据中心,可了解 Stargate 算力布局的落地进展。
OpenAI 前沿模型与 Codex 已在 AWS 正式可用,企业可通过现有的 AWS 环境、控制项和采购流程接入 OpenAI。OpenAI 表示客户可借此更快从评估阶段推进到生产部署。
Hugging Face 发布 PyTorch 性能分析系列第一篇,讲解如何用 torch.profiler 分析矩阵乘法加法运算。
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈,与 Airbus、BMW、ASML 合作优化设计、仿真与生产,并强调对专有数据和 IP 的完全控制。
推荐理由:Mistral 一次性公布工业 AI 栈、Vibe 智能体与自建数据中心,可据此判断其企业级全栈路线。
Mistral 将 Emmi AI 纳入麾下,推出面向工业工程的物理 AI 基础能力,可从几何与边界条件直接预测物理场,单次前向推理在单 GPU 上以秒级完成。该能力面向设计迭代提速,传统求解器保留用于验证与边缘场景,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。
Cisco 与 OpenAI 正用 Codex 重塑企业工程,帮助 Cisco 扩展 AI 原生开发、加速 AI Defense 工作并自动化缺陷修复。