微软 Differential Transformer V2 发布:解码速度对齐标准 Transformer,无需自定义注意力内核
微软发布 Differential Transformer V2(DIFF V2),在保持 KV 头数量不变的前提下将查询头数量翻倍,使解码速度与标准 Transformer 持平,且无需自定义注意力内核。
微软发布 Differential Transformer V2(DIFF V2),在保持 KV 头数量不变的前提下将查询头数量翻倍,使解码速度与标准 Transformer 持平,且无需自定义注意力内核。
OpenAI 发起一项新的 RFP,旨在通过加速美国本土制造、创造就业岗位并扩展 AI 基础设施,来强化美国 AI 供应链。
OpenAI 宣布与 Cerebras 合作,新增 750MW 高速 AI 算力,用于降低推理延迟并让 ChatGPT 在实时 AI 负载下响应更快。
OpenAI 与软银集团合作,联合 SB Energy 开发多吉瓦级 AI 数据中心园区,其中包括一座位于德克萨斯州、容量 1.2 GW 的设施,用于支持 Stargate 计划。
Netomi 借助 GPT-4.1 和 GPT-5.2 扩展企业级 AI 智能体,通过并发、治理与多步推理支撑可靠的生产工作流。该方案面向企业规模化部署场景,强调智能体系统在生产环境中的稳定性。
Mistral AI 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,并称其准确率超过企业文档处理方案与 AI 原生 OCR 方案。
推荐理由:官方给出与上一代在表单、手写和表格上的胜率对比,以及每千页定价,可据此判断文档解析成本与适用场景。
llama.cpp server 新增 router 模式,无需重启即可动态加载、卸载和切换多个模型,实现类似 Ollama 的模型管理。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;模型按需加载,超过 --models-max(默认 4)时按 LRU 策略卸载最久未用的模型。
推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型热切换与显存回收的具体做法。
Hugging Face 推出 swift-huggingface,一个面向 Hub 的完整 Swift 客户端包,可独立使用,后续将并入 swift-transformers 替换现有 HubApi。它提供完整 Hub API 覆盖、断点续传与进度追踪、与 Python 兼容的共享缓存,以及 TokenProvider 认证和 OAuth 2.0 支持,基于分块去重的 Xet 存储后端即将上线。
Hugging Face 发布 Transformers v5.0.0rc-0,距 v4 首个候选版已五年,如今该库每天经 pip 安装超 300 万次,累计安装量超 12 亿次。
推荐理由:官方给出 v5 在模型定义、训练、推理与量化上的重构方向,可据此判断生态工具链的兼容变化。
OpenAI 为 ChatGPT Enterprise、ChatGPT Edu 和 API Platform 扩展数据驻留能力,符合条件的客户可将静态数据存储于所在区域。
Hugging Face 发布博客,从 attention 机制与 KV caching 出发,通过优化吞吐量推导出 continuous batching。该方法通过并行处理多个对话、完成即换出,来提升高负载场景下的推理性能。文中指出 attention 是 token 间唯一交互之处,其计算量随序列长度呈平方增长。
Hugging Face 分享构建 SOTA 深度研究智能体的经验:七个月前其首版架构因假设过于复杂,在新一代模型到来后成为瓶颈,被迫推倒重建。团队转向更简化的编排逻辑并依赖模型自主性,同时借助 Tavily Advanced Search 在工具侧完成上下文工程,只返回最相关内容块以降低幻觉与延迟。
OVHcloud 正式加入 Hugging Face Hub 的 Inference Providers 生态,用户可直接在模型页调用 gpt-oss、Qwen3、DeepSeek R1、Llama 等开源模型。
OpenAI 与富士康达成合作,将在美国设计并制造下一代 AI 基础设施硬件。双方将共同开发多代数据中心系统,强化美国本土供应链,并在美国国内生产关键组件,以加速先进 AI 基础设施建设。
AnyLanguageModel 发布,这是一个 Swift 包,可作为 Apple Foundation Models 框架的 drop-in 替代,只需把 import FoundationModels 换成 import AnyLanguageModel 即可切换模型提供方。
Mistral AI 宣布与 SAP 建立多年合作,将自家模型集成进 SAP 的 AI Foundation,共同为德国及欧洲开发主权 AI 技术栈和行业解决方案。Mistral AI 同时与 Helsing 合作加速面向国防与安全应用的 vision-language-action 模型研发,并将在未来数月内在德国开设办公室、大幅扩充本地团队。
Hugging Face 的 kernels 库支持用 kernel-builder 构建并分享 ROCm 内核,可集成进 PyTorch 工作流。指南以 RadeonFlow GEMM 内核为例,该内核针对 AMD Instinct MI300X 优化,采用 FP8 e4m3fnuz 格式与分块缩放,曾获 AMD Developer Challenge 2025 大奖。
Hugging Face 宣布与 Google Cloud 建立更深层合作,让企业用开放模型构建自有 AI。
北爱尔兰 C2k 与 Google for Education 合作的六个月试点中,100 名教师将 Gemini 和 Google Workspace 工具引入课堂,每位参与教师平均每周节省 10 小时,并沉淀出 600 多个 Gemini 使用案例。
Google 公布名为 Project Suncatcher 的研究计划,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,相关预印本论文探讨了卫星间高带宽通信、轨道动力学和辐射对计算的影响。
推荐理由:Google 公开了太空 AI 数据中心的系统设计与关键挑战,读者可了解其轨道、通信和 TPU 抗辐射的初步验证结果。
OpenAI 将 Stargate 扩展至密歇根州,新建一座 1 吉瓦(one-gigawatt)园区,以强化美国 AI 基础设施。该项目将创造就业、带动投资,并支持中西部地区的经济增长。
Hugging Face 发布长文分析全球 AI 算力格局的变化,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。
推荐理由:梳理美国出口管制与中国国产芯片、开源模型之间的因果链,并给出从硬件到软件栈的替代进展时间线。
NVIDIA Isaac for Healthcare v0.4 发布基于 SO-ARM 的端到端入门工作流,开发者可用 LeRobot 采集数据、微调 GR00T N1.5、在 IsaacLab 评估后部署到真实硬件。
NVIDIA 发布 Isaac for Healthcare v0.4,提供基于 SO-ARM 的端到端入门工作流,覆盖数据采集、GR00T N1.5 后训练与真机部署。该流程中超过 93% 的训练数据由仿真合成生成,混合约 70 个仿真 episode 与 10-20 个真实 episode,可在单台 DGX Spark 上完成仿真、训练与部署。
Google 公布个人健康教练的构建细节,该功能由 Gemini 模型驱动,面向美国 Fitbit Premium 的 Android 用户开放可选公开预览,并将扩展到 iOS。
推荐理由:Google 公开了健康教练的多智能体架构与 SHARP 评估框架,可了解 Gemini 在健康场景的落地方式。
Mistral AI 发布企业级生产平台 Mistral AI Studio,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成,覆盖评估、反馈闭环、版本溯源与治理。
推荐理由:Mistral 把自家大规模系统的可观测、执行与治理能力打包成企业平台,可了解生产级 AI 的落地路径。
Intel 与 Hugging Face 联合在 Google Cloud C4 虚拟机(Intel Xeon 6 处理器)上对 OpenAI GPT OSS 大模型做文本生成基准测试,相比上一代 C3 实例实现 1.7 倍 TCO 提升,TPOT 吞吐/vCPU/美元提升 1.4 至 1.7 倍,每小时价格更低。
Hugging Face 博客给出在 Intel CPU 上本地运行视觉语言模型(VLM)的三步流程:用 Optimum Intel 与 OpenVINO 将 SmolVLM2-256M-Video-Instruct 转换为 OpenVINO IR,再通过仅权重量化(INT8)或静态量化压缩模型,最后执行推理,无需 GPU。
OpenAI 与 Sur Energy 正探索阿根廷首个 Stargate 项目,这是一项 AI 与清洁能源合作,有望让阿根廷成为拉丁美洲在人工智能、可持续基础设施和数字创新领域的领先者。
OpenAI 与 Broadcom 宣布多年期合作,将部署 10 吉瓦由 OpenAI 设计的 AI 加速器,并共同开发下一代系统与以太网方案,计划到 2029 年支撑可扩展、高能效的 AI 基础设施。
推荐理由:OpenAI 与 Broadcom 联合设计加速器并规划 10 吉瓦部署,可观察其自研芯片与算力扩张路径。
Arm 将于 10 月 22-23 日参展 PyTorch Conference,展示基于 PyTorch 和 ExecuTorch 的 AI 应用开发与部署方案。
AMD 与 OpenAI 宣布达成多年期战略合作,将部署 6 吉瓦 AMD Instinct GPU,用于支撑 OpenAI 的下一代 AI 基础设施。部署从 2026 年的 1 吉瓦起步。
推荐理由:OpenAI 与 AMD 的多年期算力合作给出了 6 吉瓦总量和 2026 年首期 1 吉瓦的部署节奏,可据此观察其基础设施供应格局。
Hugging Face 发布三部分系列文章,讲解如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行,该模型在 OmniDocBench 上超越 Gemini 2.5 Pro。
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上加速 Qwen3-8B,以 Qwen3-0.6B 为草稿模型做投机解码,生成速度提升约 1.3×;再对草稿模型剪掉 28 层中的 6 层并用 Qwen3-8B 生成的合成数据微调,加速比进一步升至约 1.4×。
OpenAI、Oracle 与 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进总额 5000 亿美元、10 吉瓦的美国基础设施扩建,用于支撑下一代 AI 并创造数万个就业岗位。
推荐理由:OpenAI 与 Oracle、SoftBank 公布 Stargate 新增五个数据中心站点,可了解 5000 亿美元、10 吉瓦级美国 AI 基建的推进节奏。
OpenAI 与 NVIDIA 宣布战略合作,将部署 10 吉瓦由 NVIDIA 系统驱动的 AI 数据中心,首期于 2026 年启动。
推荐理由:OpenAI 与 NVIDIA 的 10 吉瓦算力合作给出了首期落地时间,可据此观察大模型基础设施的扩张节奏。
Hugging Face Hub 新增 Scaleway 作为 Inference Provider,用户可直接在模型页调用 gpt-oss、Qwen3、DeepSeek R1、Gemma 3 等开源权重模型。
Public AI 现已作为 Inference Provider 接入 Hugging Face Hub,用户可直接在模型页和 JS/Python 客户端 SDK 中调用 Swiss AI Initiative、AI Singapore 等机构的公开与主权模型。
Hugging Face 发布博客,介绍为支持 OpenAI gpt-oss 系列而在 transformers 中引入的多项升级,包括可从 Hub 下载的零构建内核、MXFP4 量化、张量并行、专家并行、动态滑动窗口层与缓存、连续批处理与 Paged Attention,以及更快的模型加载。
推荐理由:Hugging Face 官方拆解了为 gpt-oss 引入的六项 transformers 升级,读者可据此了解这些优化如何迁移到其他模型。
Together AI 与 Hugging Face 联合推出新能力,Hugging Face Hub 上任意兼容 LLM 均可通过 Together AI 基础设施微调,支持公开和私有仓库,训练完成后可自动上传回 Hub。