从 CUDA 到 MLX：K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley Sky Lab 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端，通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由：K-Search 把 CUDA 内核经验迁移到 Apple Silicon，读者可看到跨平台内核优化的具体方法与实测数字。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 21–40 条 · 共 134 条Berkeley AI Research精选AI 评分6262
Hugging Face Blog精选AI 评分6262 Hugging Face 将 Nunchaku 4-bit 扩散推理接入 Diffusers
Hugging Face 在 Diffusers 中引入 Nunchaku Lite，可直接用 from_pretrained() 加载 Nunchaku 风格的 4-bit 量化检查点，无需自定义 pipeline 或本地 CUDA 编译。
推荐理由：原文给出 Nunchaku Lite 在 Diffusers 中的加载方式与实测数据，读者可据此判断 4-bit 扩散推理的显存与速度取舍。
Hugging Face Blog精选AI 评分6262 vLLM 的 transformers 建模后端实现原生推理速度
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 重写源码，在运行时动态应用推理相关的层融合，从而匹配自定义实现的性能。
推荐理由：原文给出 transformers 后端在 vLLM 中达到原生速度的实测对比与启用方式，读者可据此判断是否省去自定义移植。
Hugging Face Blog精选AI 评分6262 微软在 Foundry Managed Compute 上线 Hugging Face 模型集合
微软在 Build 2026 宣布 Foundry Managed Compute 及 Hugging Face 模型集合，将 Hugging Face 生态的开源权重模型以每周刷新的方式一键部署到 Foundry 托管 GPU 平台。
推荐理由：微软把 Hugging Face 开源模型的部署运维层接进 Foundry，读者可据此判断开源模型进入企业生产环境的门槛变化。
Hugging Face Blog精选AI 评分6868 LeRobot v0.6.0 发布：想象、评估、改进
Hugging Face 发布 LeRobot v0.6.0，围绕机器人学习闭环引入世界模型策略、奖励模型 API 和六个新仿真基准。
推荐理由：原文给出世界模型策略、奖励模型 API 与六个仿真基准，读者可据此判断机器人学习闭环的工程化程度。
Hugging Face Blog精选AI 评分6262 SkyPilot 与 Hugging Face 打通零出网费存储，可在任意云运行 AI 负载
SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端，用一个 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务，并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
推荐理由：原文给出 hf:// 挂载方式与免出网费的具体机制，读者可据此判断跨云训练与推理的存储成本变化。
Google Research精选AI 评分6262 Google 用冻结多 Token 预测加速 Pixel 上的 Gemini Nano 模型
Google Research 提出一种新架构，把多 Token 预测（MTP）头接到已冻结的 Gemini Nano v3 模型上，在 Pixel 9 和 10 系列上实现开箱即用的加速。
推荐理由：Google 把 MTP 头接到冻结的 Gemini Nano v3 上，读者可了解端侧推测解码如何在内存受限下提速。
Hugging Face Blog精选AI 评分6262 用一条命令在 HF Jobs 上运行 vLLM 服务器
Hugging Face 发布教程，介绍用一条 hf jobs run 命令在 HF Jobs 上启动私有、OpenAI 兼容的 vLLM 端点，按秒计费，无需自行配置服务器或 Kubernetes。
推荐理由：原文给出从启动到查询、清理的完整命令链路，读者可据此在 HF 基础设施上自建 OpenAI 兼容端点。
Hugging Face Blog精选AI 评分6262 NVIDIA NeMo AutoModel 加速 Transformers MoE 微调
NVIDIA 发布开源库 NeMo AutoModel，在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核，微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%，且只需改动一行 import。
推荐理由：原文给出同一 from_pretrained() 接口下的吞吐与显存对比数据，读者可据此判断 MoE 微调的迁移成本。
Mistral AI精选AI 评分7171 Mistral 发布 OCR 4，支持 170 种语言与单容器自托管
Mistral 发布 OCR 4，在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数，支持 170 种语言、10 个语系，可打包进单个容器完全自托管。该模型在 OlmOCRBench 上取得 85.20 的总体最高分，OmniDocBench 得分 93.07，独立标注者在 600 多份文档的盲评中平均 72% 的情况下更偏好其输出。
推荐理由：OCR 4 把边界框、块分类和置信度分数一并输出，读者可据此判断文档解析如何接入 RAG 与智能体流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 如何用 AI 与开源工具每周发布 huggingface_hub
Hugging Face 将 huggingface_hub 的发版周期从每 4 到 6 周缩短到每周一次，整套流程跑在单个 GitHub Actions workflow 上，由 OpenCode 驱动开放权重模型（当前为 Z.ai 的 GLM-5.2）起草 release notes 和 Slack 公告。
推荐理由：Hugging Face 公开了每周发版的完整 CI 流程，其中模型起草加确定性校验的循环可直接迁移到其他项目。
Hugging Face Blog精选AI 评分6262 如何用 Gemma 和 Qwen 本地模型免费分诊 OpenClaw 仓库
Hugging Face 博客介绍了用本地模型 Gemma 和 Qwen 在 agent harness 中对 OpenClaw 仓库的 issue 和 PR 做分类分诊的方案。
推荐理由：作者用本地模型加受限 shell 做 PR 分类，给出了可复用的 agentic classification 配方与实测对比数据。
Hugging Face Blog精选AI 评分6262 用 Strands Agents 和 LeRobot 把 Hugging Face Hub 数据集接到机器人硬件
AWS 开源的 Strands Robots SDK（Apache 2.0）把 LeRobot 栈封装成 AgentTools，让一个 Strands 智能体在单次循环里完成仿真录制演示、推送 LeRobotDataset 到 Hub、跑策略、再以改一个关键字参数的方式部署到实体 SO-101，并通过 Zenoh 对等网格广播指令到多台机器人。
推荐理由：AWS 团队给出从 Hub 数据集到实体机器人的五步流程，可看到仿真与真机共用同一数据集格式的工程取舍。
Google DeepMind精选AI 评分7474 Google DeepMind 发布 DiffusionGemma 文本扩散模型，推理速度最高提升 4 倍
Google DeepMind 发布实验性开放模型 DiffusionGemma，采用文本扩散方式并行生成整块文本，在专用 GPU 上推理速度最高提升 4 倍。
推荐理由：官方给出 26B MoE 文本扩散模型的开放权重与硬件门槛，读者可据此判断本地低并发推理的适用边界。
Hugging Face Blog精选AI 评分6262 NVIDIA 发布 Nemotron 3.5 Content Safety 多模态安全模型
NVIDIA 发布 Nemotron 3.5 Content Safety，基于 Gemma 3 4B IT 微调，将多模态输入、多语言覆盖、自定义企业策略执行和可审计推理链统一到一次推理调用中。
推荐理由：NVIDIA 发布 4B 多模态安全模型，支持自定义策略与可审计推理链，并公开训练数据集。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 hf CLI 重构为面向智能体优化的 Hub 命令行工具
Hugging Face 重构官方命令行工具 hf CLI，使其同时适配人类用户和编码智能体，通过环境变量自动识别 Claude Code、Codex、Cursor 等智能体并切换输出格式。
推荐理由：官方给出 hf CLI 面向智能体重构的细节与基准数据，可据此判断命令行工具如何适配编码智能体。
Google Research精选AI 评分6060 Google 开源水文建模框架，支持机构自建 AI 洪水预报
Google Research 在 GitHub 上以 Apache 2.0 许可开源其水文建模框架，让各国气象与水文机构用与 Google Flood Hub 相同的架构和相近训练数据训练 AI 洪水预报模型。
推荐理由：Google 把驱动 Flood Hub 的水文模型架构与训练流程开源，读者可了解其能力边界与接入方式。
Hugging Face Blog精选AI 评分7171 Hcompany 发布 Holo3.1 系列 computer-use 模型，支持本地量化推理
Hcompany 发布 Holo3.1 系列 computer-use 模型，基于 Qwen 家族，覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸，并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重用于本地推理。
推荐理由：Holo3.1 给出跨环境、跨框架与本地量化的具体数据，可据此判断端侧 computer-use 智能体的部署成本。
Hugging Face Blog精选AI 评分6262 JetBrains 发布 Mellum2：12B MoE 模型，Apache 2.0 开源
JetBrains 发布 Mellum2，一个从零训练的 12B 参数 Mixture-of-Experts 模型，覆盖自然语言与代码，每个 token 仅激活 2.5B 参数，以 Apache 2.0 许可开源。官方称其面向路由、RAG、摘要、子智能体和高吞吐编码等低延迟场景，相比同规模模型推理速度提升 2 倍以上。模型已在 Hugging Face 开放下载，架构、训练与评测细节见技术报告。
推荐理由：JetBrains 开源 12B MoE 模型，激活 2.5B 参数并主打 2 倍以上推理速度，可据此判断轻量模型在 RAG 与子智能体中的定位。
OpenAI News精选AI 评分6262 OpenAI 在密歇根动工 1GW 数据中心，属 Stargate 项目
OpenAI 在密歇根破土动工建设 1GW 数据中心项目，该项目属于 Stargate 计划的一部分。OpenAI 表示，此举旨在建设 AI 基础设施，以扩大使用范围、创造就业并支持社区。
推荐理由：OpenAI 在密歇根动工 1GW 数据中心，可了解 Stargate 算力布局的落地进展。