Hugging Face 用约 70 行 Python 代码实现 MCP 驱动的 Tiny Agent
Hugging Face 发布 Python 版 Tiny Agents，把 huggingface_hub 客户端 SDK 扩展为 MCP Client，可从 MCP 服务器拉取工具并在推理时传给 LLM，核心智能体代码约 70 行。
推荐理由：Hugging Face 官方给出约 70 行 Python 代码实现 MCP 智能体的完整拆解，可直接照着搭一个自己的智能体。
全部AI 动态
全部动态
今日 4 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分3434 Hugging Face Diffusers 量化后端解析：bitsandbytes、GGUF、torchao、Quanto 与 FP8
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端，并以 Flux-dev 为例展示其效果。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 nanoVLM：用纯 PyTorch 训练视觉语言模型的最简仓库
Hugging Face 发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型（VLM）的轻量工具包，可在免费 Colab 上启动训练。其视觉骨干采用 Google 的 SigLIP 编码器，语言骨干沿用 Llama 3 架构，两者通过 Modality Projection 模块对齐，训练目标为视觉问答。
推荐理由：官方给出 nanoVLM 的架构选择与训练流程，读者可据此在免费 Colab 上跑通一个 VLM。
Hugging Face BlogAI 评分2828 Hugging Face 盘点视觉语言模型一年进展：更小、更快、更强
Hugging Face 发布博客盘点过去一年视觉语言模型的关键变化，涵盖 any-to-any、推理、小尺寸、MoE 解码器、视觉语言动作模型等新趋势。
Hugging Face BlogAI 评分3636 LeRobot 社区数据集：机器人领域的“ImageNet”——何时实现、如何实现？
Hugging Face 的 LeRobot 项目正推动社区共建机器人数据集，将其定位为机器人领域的“ImageNet”，目前 Hub 上的 lerobot 数据集数量快速增长，贡献主要集中在 So100 和 Koch 机械臂。项目通过简化录制流程、打通上传至 Hugging Face Hub、降低硬件成本来扩大数据多样性，并指出数据整理（curation）是下一阶段的核心挑战。
Hugging Face Blog精选AI 评分6262 如何用 Gradio 构建 MCP Server
Gradio 官方教程介绍如何用几行 Python 把 Gradio 应用变成 MCP Server，只需在 launch() 中设置 mcp_server=True，函数即被自动转换为 LLM 可调用的工具，docstring 会生成工具描述和参数。
推荐理由：Gradio 官方给出把任意 Python 函数变成 MCP 工具的最短路径，可据此判断自家应用接入 LLM 工具调用的成本。
Hugging Face BlogAI 评分3434 Qwen-3 的 Chat Template 教会我们的 4 件事
Qwen-3 的 chat template 相比 Qwen-2.5 和 QwQ 有四处关键变化：通过 enable_thinking 标志可开关推理，不再强制输出思维链。
Hugging Face BlogAI 评分3030 Intel 推出 AutoRound：面向 LLM 与 VLM 的先进量化工具
Intel 发布权重仅训练后量化方法 AutoRound，通过符号梯度下降联合优化权重舍入与裁剪范围，支持 INT2-INT8 低比特量化。在 INT2 下其相对精度最高达主流基线 2.1 倍，量化 72B 模型在 A100 上仅需 37 分钟（light 模式）。
Hugging Face BlogAI 评分5757 ServiceNow 开源 PipelineRL：用 inflight 权重更新提升 LLM 强化学习吞吐
ServiceNow 开源实验性 RL 实现 PipelineRL，通过训练中 inflight 权重更新，在不停推理的前提下持续保持最优 batch size，缓解高吞吐推理与 on-policy 数据采集之间的取舍。
Hugging Face Blog精选AI 评分6262 Tiny Agents：用 50 行代码实现 MCP 驱动的智能体
Hugging Face 发布 Tiny Agents，用约 50 行 TypeScript 代码实现一个由 MCP 驱动的智能体。
推荐理由：作者用 50 行代码把 MCP 客户端与 Agent 循环讲清楚，读者可据此理解工具调用如何接入现有推理客户端。
Hugging Face BlogAI 评分3535 TNG 微调 olmOCR-7B-0225-preview，打造忠实还原页眉页脚的 OCR 引擎
TNG 基于 olmOCR-7B-0225-preview 微调出一款忠实 OCR 引擎，解决了原模型为生成训练数据而忽略页眉页脚信息的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8000 份文档数据集，在 8xH100 节点上训练 2.5 个 epoch，使模型能完整提取发票等文档的页眉页脚内容并保留表格解析能力。微调模型已在 Hugging Face 开源。
Hugging Face BlogAI 评分3636 TNG 如何优化 LLM 并发请求的 Prefill 与 Decode 性能
TNG 在 24 张 H100 GPU 集群上自托管多个大语言模型，支撑 50 个应用、每小时超 5,000 次推理、每天生成超一千万 token，并分析了并发请求下 prefill 与 decode 两阶段的性能差异。
Hugging Face BlogAI 评分3030 为什么 Gradio 不只是另一个 UI 库：17 个理由
Gradio 不只是构建 UI 的 Python 库，而是通过 UI 和 API 与机器学习模型交互的框架。所有 Gradio 应用自带 API，提供 Python（gradio_client）和 JavaScript（@gradio/client）官方 SDK 及 cURL 访问，并自动生成 REST 端点和 API 文档。
Mistral AIAI 评分2727 Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集求加权平均。
Hugging Face BlogAI 评分2222 Gradio 月活用户突破 100 万：从斯坦福 Demo 工具到 AI 应用标准 UI
Hugging Face 的 Gradio 月活开发者已超过 100 万，Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等热门开源项目均基于它构建。
Hugging Face BlogAI 评分2727 Hugging Face 的 NLP Course 升级更名为 LLM Course
Hugging Face 将已有 3 年历史的 NLP Course 更名为 LLM Course，并新增微调 LLM、构建 Deepseek R1 等推理模型的章节。
Hugging Face BlogAI 评分3838 高效请求排队：优化 LLM 性能的公平调度策略
TNG Technology Consulting 分享了自托管 LLM 服务中请求排队问题的解决方案：在 vLLM 等推理引擎前加一层 LLM-Server，为每个用户和模型维护独立队列并采用轮询调度，避免"重度用户"阻塞他人。
Hugging Face BlogAI 评分2222 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 将密钥管理从 AWS 单云方案迁移至 Infisical，以支撑其 Hub 上超 400 万构建者的多云端（Azure、GCP）环境。团队通过 Infisical Kubernetes Operator 自动同步密钥更新，并借助 Okta 集成实现细粒度 RBAC，取代了不安全的本地 .env 文件。工程师仍偏好手动重新部署，以应对每分钟超 1000 万请求的高流量场景。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调 Reranker 模型
Sentence Transformers 库可用于微调 reranker（Cross Encoder）模型，使其在自有数据上超越所有现有方案，也能从零训练出强力的新 reranker。
Hugging Face BlogAI 评分3838 Open R1 教程：如何在本地用 OlympicCoder 7B 搭建编程助手
Hugging Face 博客介绍了如何在本地通过 LM Studio 和 VS Code 的 Continue 扩展运行 OlympicCoder 7B 编程模型，推荐使用 4bit GGUF 量化版本。该模型在 LiveCodeBench 评测中表现优于 Claude 3.7 Sonnet 和 GPT-4o，基于 CodeForces-CoTs 数据集优化，适合处理竞赛类编程难题。
Hugging Face BlogAI 评分3434 如何在手机上通过 React Native 本地运行 LLM：Hugging Face 边缘推理指南
Hugging Face 发布教程，演示如何用 React Native 和 llama.rn（llama.cpp 的绑定）构建 Android/iOS 应用，从 Hugging Face hub 下载 GGUF 模型并在设备本地离线运行。
Mistral AIAI 评分2222 Mistral AI 用智能体工作流自动生成 PRD 与工程工单
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流，由 Mistral Large 2 驱动的 PRDAgent 和 TicketCreationAgent 组成，可将会议转录自动生成 PRD 并转化为结构化开发工单，自动在 Linear、Jira 等项目管理工具中创建工单。
Hugging Face BlogAI 评分2828 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客介绍如何用 Arize Phoenix 为 smolagents 构建的 Agent 做追踪与评估，通过 OpenTelemetry 和 OpenInference 自动捕获每次 Agent 调用。
Hugging Face BlogAI 评分4848 Hugging Face 实测：10 亿次分类与嵌入推理的成本优化方案
Hugging Face 博客实测了 10 亿次分类与嵌入推理的成本：在 nvidia-L4（$0.8/hr）上，DistilBERT 情感分类模型处理 10 亿条输入约 $253.82，gte-modernbert-base 嵌入约 $409.44，而 2.21B 参数的 ColQwen2 视觉嵌入高达 $44,496.51。
Hugging Face BlogAI 评分5858 Hugging Face 开源 xet-core 与 hf_xet，用块级聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队开源了 xet-core 和与 huggingface_hub 集成的 hf_xet，用 Rust 实现基于内容分块的上传下载方案，部分场景提速 2-3 倍。
Hugging Face BlogAI 评分3838 Hugging Face 开源视频生成数据集构建工具链
Hugging Face 发布一套三阶段视频数据集构建工具链，涵盖 yt-dlp 下载、Video to Scenes 切分、水印/美学/NSFW/运动评分过滤，以及 Florence-2 与 Qwen2.5 打标。团队用该工具构建 crush-smol-v0 等数据集，并以 finetrainers 微调 CogVideoX-5B 生成 Pika 风格特效。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment
Hugging Face 博客发布 Mini-R1 教程，用 GRPO 和 Countdown Game 在 Qwen2.5-3B-Instruct 上复现 DeepSeek R1 的 aha moment。
推荐理由：完整复现流程与训练观察记录，可看到小模型在 GRPO 下从文字推理转向程序化求解的过程。
Hugging Face BlogAI 评分5252 如何在 AWS 上部署和微调 DeepSeek R1 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型，覆盖 Hugging Face Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 的 LLM DLC 以及 EC2 Neuron 等路径。
Hugging Face BlogAI 评分4848 Diffusers 中的开源视频生成模型现状
Hugging Face 发文梳理开源视频生成模型现状，CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 均已开放，而 Sora、Veo 2、Gen 3 Alpha、Kling、Pika 2.0、MiniMax 仍为闭源。文章指出开源模型受限于高算力成本、泛化能力不足和生成延迟，Diffusers 团队正从推理优化与微调两方面推进其规模化采用。
Hugging Face BlogAI 评分3838 NVIDIA KVPress 如何压缩 KV Cache 实现长上下文 LLM
NVIDIA 推出 Python 工具包 KVPress，通过多种压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face BlogAI 评分3838 Hugging Face 推出 TimmWrapper：在 transformers 中使用任意 timm 模型
Hugging Face 发布 TimmWrapper，让任意 timm 视觉模型可直接接入 transformers 生态，支持 pipeline API、Auto 类和 Trainer 微调。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Sentence Transformers 训练快 400 倍的静态嵌入模型
Hugging Face 发布方法，用 Sentence Transformers 训练静态嵌入模型，在 CPU 上比主流嵌入模型快 100 到 400 倍，同时保留大部分质量。
推荐理由：原文公开了静态嵌入模型的完整训练配方与两个已发布模型，读者可据此在 CPU 端复现高效嵌入方案。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客给出用 torch.cuda.memory._record_memory_history 记录并可视化 PyTorch 训练 GPU 显存占用的完整教程，可在 pytorch.org/memory_viz 拖入 profile.pkl 查看内存曲线。
推荐理由：用 PyTorch 内存快照逐段拆解训练显存构成，并给出可套用的估算公式与工具。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。
Hugging Face BlogAI 评分2222 在 GCP 第 5 代 Xeon 上基准测试语言模型性能
Hugging Face 用 optimum-benchmark 在 Google Cloud 的 C4（第 5 代 Xeon，Emerald Rapids，支持 AMX）与 N2（第 3 代 Xeon，Ice Lake）实例上对比了文本嵌入与文本生成两项智能体负载。
Hugging Face BlogAI 评分2727 LLM 修复自身错误的能力如何？基于 Keras 与 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，让多个 LLM 同时处理同一段日历 API 调用对话，测试它们在用户用自然语言指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio Spaces 界面并行对话。
Hugging Face BlogAI 评分2222 CFM 如何用 LLM 辅助标注微调小模型：金融 NER 准确率提升 6.4%、成本降低 80 倍
Capital Fund Management（CFM）借助 Hugging Face Inference Endpoints 部署 Llama 3.1-70b-Instruct 生成标注、再用 Argilla 人工复核，微调出的小模型在金融命名实体识别上准确率最高提升 6.4%，推理成本较大模型低至 80 倍。
Hugging Face BlogAI 评分4040 Hugging Face 开源开发者 EU AI Act 合规指南
Hugging Face 发布开源开发者 EU AI Act 合规指南，梳理该法规对开源 AI 模型与系统的适用范围。仅通用目的 AI（GPAI）模型被直接监管，训练算力超 10^25 FLOPs 者构成系统性风险；有限风险系统须向用户披露其正在与 AI 交互。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步改进位置编码方案，最终推导出 Llama 3.2 及多数现代 Transformer 使用的 RoPE（旋转位置编码）。文章以 Llama 3.2 1B 为例演示：不加位置信息时，多头自注意力对同一 token 在不同位置的输出完全相同。作者提出位置编码应满足唯一性、线性关系、长度泛化、确定性生成和可扩展至多维等五项理想属性。
Hugging Face BlogAI 评分3131 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 发布博客详解 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。