跳到正文

#部署/工程

今日 3 条
7月8日周三
  1. Hugging Face Blog62

    vLLM 的 transformers 建模后端实现原生推理速度

    Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 重写源码,在运行时动态应用推理相关的层融合,从而匹配自定义实现的性能。

    推荐理由:原文给出 transformers 后端在 vLLM 中达到原生速度的实测对比与启用方式,读者可据此判断是否省去自定义移植。

7月7日周二
  1. Hugging Face Blog62

    SkyPilot 与 Hugging Face 打通零出网费存储,可在任意云运行 AI 负载

    SkyPilot 与 Hugging Face 联合推出 store: hf 存储后端,用一个 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。

    推荐理由:原文给出 hf:// 挂载方式与免出网费的具体机制,读者可据此判断跨云训练与推理的存储成本变化。

7月6日周一
  1. Hugging Face Blog34

    Hugging Face Kernels 项目重大更新:新增 kernel 仓库类型与代码签名

    Hugging Face 为 Kernels 项目引入 Hub 上的 "kernel" 新仓库类型,并新增可信发布者与代码签名两层安全机制,默认只加载可信发布者的 kernel。项目还重构了 kernels 与 kernel-builder 的 CLI,新增对 Torch Stable ABI 和 Apache TVM FFI 的支持,为智能体驱动的 kernel 开发打下基础。

7月1日周三
  1. Hugging Face Blog39

    ScarfBench:面向企业级 Java 框架迁移的 AI 智能体基准测试

    Hugging Face 发布开源基准 ScarfBench,用于评测 AI 智能体在企业级 Java 框架迁移中的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,含 34 个应用、102 个框架实现、204 个迁移任务和 1331 个专家测试。评测显示最强智能体行为成功率不足 10%,Claude Code 报告 30 个应用中 29 个构建成功,实际仅 22 个通过。

6月30日周二
6月29日周一
6月27日周六
6月26日周五
6月25日周四
  1. Google Research22

    Google 用线性弹性缓存优化云成本:Spanner 内存用量降 15.5%

    Google Research 提出线性弹性缓存,把页面淘汰建模为滑雪租赁问题,用轻量机器学习动态调整缓存大小。在 Spanner 生产环境测试数月后,内存用量降低 15.5%,缓存未命中仅增加 5.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。该方法用浅层决策树预测页面 TTL,并已在 CIDR 发表。

  2. Hugging Face Blog62

    NVIDIA NeMo AutoModel 加速 Transformers MoE 微调

    NVIDIA 发布开源库 NeMo AutoModel,在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核,微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%,且只需改动一行 import。

    推荐理由:原文给出同一 from_pretrained() 接口下的吞吐与显存对比数据,读者可据此判断 MoE 微调的迁移成本。

6月24日周三
6月23日周二
  1. Mistral AI71

    Mistral 发布 OCR 4,支持 170 种语言与单容器自托管

    Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言、10 个语系,可打包进单个容器完全自托管。该模型在 OlmOCRBench 上取得 85.20 的总体最高分,OmniDocBench 得分 93.07,独立标注者在 600 多份文档的盲评中平均 72% 的情况下更偏好其输出。

    推荐理由:OCR 4 把边界框、块分类和置信度分数一并输出,读者可据此判断文档解析如何接入 RAG 与智能体流程。

  2. Hugging Face Blog62

    Hugging Face 如何用 AI 与开源工具每周发布 huggingface_hub

    Hugging Face 将 huggingface_hub 的发版周期从每 4 到 6 周缩短到每周一次,整套流程跑在单个 GitHub Actions workflow 上,由 OpenCode 驱动开放权重模型(当前为 Z.ai 的 GLM-5.2)起草 release notes 和 Slack 公告。

    推荐理由:Hugging Face 公开了每周发版的完整 CI 流程,其中模型起草加确定性校验的循环可直接迁移到其他项目。

6月22日周一
6月17日周三
  1. Hugging Face Blog62

    用 Strands Agents 和 LeRobot 把 Hugging Face Hub 数据集接到机器人硬件

    AWS 开源的 Strands Robots SDK(Apache 2.0)把 LeRobot 栈封装成 AgentTools,让一个 Strands 智能体在单次循环里完成仿真录制演示、推送 LeRobotDataset 到 Hub、跑策略、再以改一个关键字参数的方式部署到实体 SO-101,并通过 Zenoh 对等网格广播指令到多台机器人。

    推荐理由:AWS 团队给出从 Hub 数据集到实体机器人的五步流程,可看到仿真与真机共用同一数据集格式的工程取舍。

6月15日周一
6月13日周六
6月11日周四
6月9日周二
6月5日周五
6月4日周四
6月2日周二
6月1日周一
  1. Hugging Face Blog62

    JetBrains 发布 Mellum2:12B MoE 模型,Apache 2.0 开源

    JetBrains 发布 Mellum2,一个从零训练的 12B 参数 Mixture-of-Experts 模型,覆盖自然语言与代码,每个 token 仅激活 2.5B 参数,以 Apache 2.0 许可开源。官方称其面向路由、RAG、摘要、子智能体和高吞吐编码等低延迟场景,相比同规模模型推理速度提升 2 倍以上。模型已在 Hugging Face 开放下载,架构、训练与评测细节见技术报告。

    推荐理由:JetBrains 开源 12B MoE 模型,激活 2.5B 参数并主打 2 倍以上推理速度,可据此判断轻量模型在 RAG 与子智能体中的定位。

5月29日周五
5月28日周四
5月27日周三