用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 做追踪与评估，通过 OpenTelemetry 和 OpenInference 自动捕获每次 Agent 调用。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分2828
Hugging Face BlogAI 评分3838 Hugging Face 推出 Remote VAE：用 Inference Endpoints 远程解码
Hugging Face Diffusers 团队实验性推出 Remote VAE，将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints，以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face BlogAI 评分2222 Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家无服务器推理提供商，支持 DeepSeek-R1、Flux.1 等模型，并已集成 JS 和 Python 客户端 SDK。用户可在账户设置中配置自有 API key 直连提供商，或经 HF 路由计费；PRO 用户每月获 2 美元推理额度。
Mistral AI精选AI 评分6060 Mistral 发布区域语言模型 Mistral Saba
Mistral AI 发布 Mistral Saba，这是其首个专门面向区域语言的模型，参数规模 24B，训练数据来自中东和南亚。该模型支持阿拉伯语和多种印度源语言，在泰米尔语等南印度语言上表现突出，官方称其回答比规模大 5 倍以上的模型更准确，同时速度更快、成本更低。
推荐理由：Mistral 推出面向中东和南亚的区域语言模型，读者可了解其参数规模、语言覆盖与本地部署方式。
Hugging Face BlogAI 评分2222 Fireworks.ai 成为 HF Hub 支持的推理服务商
Fireworks.ai 正式成为 Hugging Face Hub 支持的推理服务商，可在模型页面及整个 HF 生态中提供无服务器推理。
Hugging Face BlogAI 评分4848 Hugging Face 实测：10 亿次分类与嵌入推理的成本优化方案
Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本：在 nvidia-L4（$0.8/hr）上，DistilBERT 情感分类模型处理 10 亿条输入约 $253.82，gte-modernbert-base 嵌入约 $409.44，而 2.21B 参数的 ColQwen2 视觉嵌入高达 $44,496.51。
Hugging Face BlogAI 评分5858 Hugging Face 开源 xet-core 与 hf_xet，用块级聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队开源了 xet-core 和与 huggingface_hub 集成的 hf_xet，用 Rust 实现基于内容分块的上传下载方案，部分场景提速 2-3 倍。
OpenAI NewsAI 评分2222 OpenAI 在欧洲推出数据驻留功能
OpenAI 面向欧洲客户推出数据驻留功能，作为其企业级数据隐私、安全与合规体系的一部分。该功能支持全球客户，具体上线时间与适用模型未在原文中披露。
Mistral AI精选AI 评分7878 Mistral AI 发布 24B 参数模型 Mistral Small 3，Apache 2.0 开源
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可证开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体条件。
Hugging Face BlogAI 评分5252 如何在 AWS 上部署和微调 DeepSeek R1 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型，覆盖 Hugging Face Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 的 LLM DLC 以及 EC2 Neuron 等路径。
Hugging Face Blog精选AI 评分6262 Hugging Face Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务商，并集成到 JS 和 Python 客户端 SDK。
推荐理由：官方说明 Hub 模型页接入四家无服务器推理服务商，并给出 SDK 与路由代理的调用方式，便于判断接入成本。
Hugging Face BlogAI 评分4848 Diffusers 中的开源视频生成模型现状
Hugging Face 发文梳理开源视频生成模型现状，CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 均已开放，而 Sora、Veo 2、Gen 3 Alpha、Kling、Pika 2.0、MiniMax 仍为闭源。文章指出开源模型受限于高算力成本、泛化能力不足和生成延迟，Diffusers 团队正从推理优化与微调两方面推进其规模化采用。
Hugging Face BlogAI 评分3838 NVIDIA KVPress 如何压缩 KV Cache 实现长上下文 LLM
NVIDIA 推出 Python 工具包 KVPress，通过多种压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成 FriendliAI Endpoints 部署选项
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮，实现开源或自定义生成式 AI 模型的一键部署。
OpenAI News精选AI 评分6262 OpenAI 宣布 Stargate 项目
OpenAI 官方发布公告，宣布 Stargate 项目。公告未提供更多细节，仅给出项目名称与发布动作。
推荐理由：OpenAI 官方宣布 Stargate 项目，读者可据此了解其自建 AI 基础设施的布局方向。
Hugging Face BlogAI 评分3838 Hugging Face 推出 TimmWrapper：在 transformers 中使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。
Hugging Face BlogAI 评分5757 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 Rust 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客给出用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练 GPU 显存占用的完整教程，可在 pytorch.org/memory_viz 拖入 profile.pkl 查看内存曲线。
推荐理由：用 PyTorch 内存快照逐段拆解训练显存构成，并给出可套用的估算公式与工具。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。
Hugging Face BlogAI 评分5858 IBM 联合普林斯顿等发布 Bamba-9B 混合 Mamba2 模型
IBM 联合普林斯顿、CMU 和 UIUC 发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。在 vLLM 中，该模型相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速，并已支持 transformers、vLLM、TRL 和 llama.cpp。
Hugging Face BlogAI 评分2222 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Xeon，Emerald Rapids，支持 AMX）与 N2（第 3 代 Xeon，Ice Lake）实例上对比了文本嵌入与文本生成两项智能体负载。
Hugging Face BlogAI 评分2828 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的开源模型现已通过 Amazon Bedrock Marketplace 提供，AWS 客户可部署 83 个开源模型构建生成式 AI 应用。
Hugging Face BlogAI 评分2727 LLM 修复自身错误的能力如何？基于 Keras 与 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，让多个 LLM 同时处理同一段日历 API 调用对话，测试它们在用户用自然语言指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio Spaces 界面并行对话。
Hugging Face BlogAI 评分2222 CFM 如何用 LLM 辅助标注微调小模型：金融 NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融命名实体识别上准确率最高提升 6.4%，推理成本较大模型低至 80 倍。
Hugging Face BlogAI 评分2828 Hugging Face 重构 Hub 上传与下载架构
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构，计划引入内容寻址存储（CAS）作为内容分发第一站，并基于"读简单、写智能"理念构建自定义协议。新架构在字节级别分析文件，对 tensor 文件（如 Safetensors）的压缩探索有望将上传速度提升 10-25%。CAS 节点将部署在 AWS 少数区域，以覆盖北美、欧洲和亚洲的主要上传流量。
Hugging Face BlogAI 评分3131 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 发布博客详解 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face BlogAI 评分4040 Hugging Face 如何用内容定义分块提升存储效率
Hugging Face 的 Xet 团队采用内容定义分块（CDC）将文件拆分为可变大小的块，仅传输和存储修改过的块，从而提升存储与迭代效率。在 CORD-19 数据集基准测试中，Xet 后端将平均下载时间从 51 分钟降至 19 分钟，上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。
Mistral AIAI 评分4040 Mistral AI 推出 Batch API，批量推理成本降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，处理高并发请求的成本比同步 API 调用低 50%。用户上传批量文件、处理完成后下载输出文件即可，适用于情感分析、文档批量摘要与翻译、向量嵌入建索引和数据标注等场景。该 API 覆盖 La Plateforme 上全部模型，每个工作区最多 100 万个进行中的请求，并将陆续登陆其云厂商合作伙伴。
Mistral AIAI 评分5555 Mistral AI 发布内容审核 API
Mistral AI 发布新的内容审核 API，即其 Le Chat 审核服务所用的同一套接口，现对外开放供用户按自身安全标准定制。该模型是一个 LLM 分类器，将文本输入分为 9 个类别，提供原始文本和对话内容两个端点，对话端点只对上下文中的最后一条消息分类。
Hugging Face BlogAI 评分3838 Hugging Face 集成进 PyCharm：右键即可插入 HF 模型
Hugging Face 与 PyCharm 的集成现已上线，开发者可在代码中右键选择 "Insert HF Model"，按 image-text-to-text 等任务筛选模型并直接插入示例代码，例如 microsoft/Phi-3.5-vision-instruct。
Hugging Face Blog精选AI 评分6262 Universal Assisted Generation：用任意助手模型加速解码
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation（UAG），让目标模型与助手模型不再需要共享 tokenizer，可跨模型家族配对。
推荐理由：Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法，给出了可对照的加速数据和 Transformers 调用方式。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 HUGS 生成式 AI 服务，零配置部署开源模型
Hugging Face 发布生成式 AI 服务 HUGS，提供零配置的优化推理微服务，基于 Text Generation Inference 和 Transformers，支持 NVIDIA、AMD GPU，AWS Inferentia 和 Google TPU 即将支持。
推荐理由：HUGS 把开源模型的推理部署从数周压缩到分钟级，并给出兼容 OpenAI API 的落地路径，可据此判断自托管开源模型的工程成本。
Hugging Face BlogAI 评分3535 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）项目，通过 VAD、STT、语言模型和 TTS 组成的级联流水线实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
Hugging Face BlogAI 评分4242 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写结构化生成核心
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，索引编译速度平均提升 2 倍。该库已集成进 outlines，Python 绑定 0.1.0 版本同步上线，其轻量化设计便于其他库直接引入结构化生成能力，Rust 实现还为 Python 之外的语言绑定提供了可能。
Hugging Face BlogAI 评分2929 Keras 中的 Llama 3.2：从第一天起就可用
Llama 3.2 在 Hugging Face / Transformers 上线两周后，Keras 已从第一天起支持加载 Llama 3.2 checkpoint，包括 meta-llama/Llama-3.2-1B-Instruct，无需转换即可通过 keras_hub 的 Llama3CausalLM.from_preset 直接调用。
Hugging Face BlogAI 评分3636 AMD 发布第五代 EPYC CPU（Turin）：Hugging Face 实测 Llama 3.1 8B 吞吐提升约 2 倍
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU（代号 Turin），最高 192 核 384 线程。Hugging Face 用 Meta Llama 3.1 8B 在 Turin（128 核）与 Genoa（96 核）上对比测试，借助 ZenDNN PyTorch 插件（zentorch）与 bfloat16，多数配置下解码吞吐提升约 2 倍。
Hugging Face BlogAI 评分4141 Gradio 5 安全审计：Trail of Bits 发现的风险已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 进行独立安全审计，发现的全部安全风险已在 Gradio 5.0 发布前修复并通过验证。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio 5 稳定版
Hugging Face 发布 Gradio 5 稳定版，开发者可用几行 Python 构建生产级机器学习 Web 应用，通过 pip install --upgrade gradio 升级。
推荐理由：官方列出 Gradio 5 在 SSR 加载、流式与安全上的具体改动，可据此判断现有应用的迁移成本。
Hugging Face BlogAI 评分3131 Hugging Face + Dask 如何扩展 AI 数据处理：从 100 行到 2.11 亿行
Hugging Face 联合 Dask 展示用 Dask DataFrame 并行化 pandas，将 FineWeb 数据集的教育价值分类从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。该流程用 FineWeb-Edu classifier 对 432 GB、250 个 Parquet 文件打分，并通过 map_partitions 实现多节点 GPU 并行推理。
Hugging Face BlogAI 评分5050 Intel Labs 与 Hugging Face 推出动态推测解码，文本生成最高提速 2.7 倍
Intel Labs 与 Hugging Face 提出动态推测解码方法，可根据助手模型置信度逐 token 动态调整推测前瞻长度，文本生成最高提速 2.7 倍。