用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
#部署/工程
#部署/工程
今日 3 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分4040 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 上线 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个基础模型通过 Vertex AI 或 GKE 部署到用户自己的 Google Cloud 账号，并作为 API Endpoint 运行。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
Hugging Face BlogAI 评分4242 Hugging Face 与 Cloudflare Workers AI 集成：无服务器 GPU 推理上线
Hugging Face Hub 上线 "Deploy on Cloudflare Workers AI" 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，由 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 驱动，按请求计费、无需自管 GPU。
Hugging Face BlogAI 评分3838 Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型统一接口，首个版本聚焦 3D 物体检测，输出物体在三维空间中的 (x, y, z) 坐标。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释这一开源 Python 库、Hub 与 Spaces 的基本概念。教程以在 Hugging Face Space 的 JupyterLab notebook 中运行微软 Phi-2 LLM 为例，需租用 24GB 显存的 NVIDIA A10G GPU，每小时仅需几美元。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解二值与标量嵌入量化：更快更省的检索方案
Hugging Face 发布博客介绍嵌入量化，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。
推荐理由：用 41M 维基文本的实测数据说明二值与标量量化在检索速度、内存和成本上的取舍，方法可直接迁移。
OpenAI NewsAI 评分2222 JetBrains 借助 OpenAI API 打造增长最快的产品
JetBrains 使用 OpenAI 的 API 打造出公司史上增长最快的产品。该产品将 AI 嵌入开发者软件之中。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成推理。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，可在 CUDA 和 MPS 等任意设备上运行。
Hugging Face BlogAI 评分4646 Hugging Face 推出 Train on DGX Cloud：用 NVIDIA H100 GPU 轻松训练模型
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可一键调用 NVIDIA H100 GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
Hugging Face BlogAI 评分3434 用 Optimum Intel 和 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上为 BGE 等嵌入模型带来显著性能提升，并轻松接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，仅需几行代码即可完成端到端的预处理与后处理。
Hugging Face Blog精选AI 评分7777 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种规模，各有基础版与指令微调版共 4 个开放模型，上下文长度 8K tokens。Hugging Face 同步完成集成，覆盖 Transformers 4.38、Google Cloud、Inference Endpoints 以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 后，Hugging Face 同步给出 2B/7B 四个模型的集成与部署路径，可对照榜单分数判断其定位。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接配合 OpenAI 客户端库以及 LangChain、LlamaIndex 使用。
推荐理由：官方给出 OpenAI 兼容接口的接入方式与限制，读者可据此评估把现有 OpenAI 调用迁到开源模型的成本。
Hugging Face BlogAI 评分4040 Hugging Face Text Generation Inference 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face BlogAI 评分2424 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit/4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍的推理加速。其中 Q8-StarCoder 采用 SmoothQuant 静态量化，精度与 BF16 基线持平甚至略有提升，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍。
Hugging Face BlogAI 评分4747 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 基础设施上构建自己的 AI。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理，吞吐量相比 PyTorch 最高提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整走通从 ComfyUI 工作流导出 Python、包成 Gradio 应用到 ZeroGPU 免费部署的链路，可迁移到任意工作流。
Mistral AI精选AI 评分8585 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数 46.7B，每个 token 仅激活 12.9B 参数，推理速度比 Llama 2 70B 快 6 倍，在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，支持 32k token 上下文和英法意德西五种语言。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比边界。
Mistral AI精选AI 评分8080 Mistral AI 开放 La Plateforme 平台测试版，提供三个生成端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个生成文本的 chat 端点和 一个嵌入端点，各端点性能与价格不同。
推荐理由：Mistral 官方公布首批平台服务，给出三个生成端点的模型、语言与 MT-Bench 分数，可据此判断其早期 API 的能力与定价分层。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 AMD 实现 AMD GPU 上大语言模型开箱即用加速
Hugging Face 与 AMD 宣布合作进展，Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布开箱即用支持进展，读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持热启动、按请求即时加载和卸载适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由：官方给出单行代码替换即可提速的量化数据与 FP8 支持范围，便于判断迁移成本。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成：optimum-neuron 部署指南
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 为例演示。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出存储区域功能，支持 US 和 EU
Hugging Face 为 Enterprise Hub 推出 Storage Regions，让组织决定模型和数据集的存储位置，目前支持 US 和 EU，亚太地区即将上线。该功能用于满足监管与法律合规（如欧盟 GDPR）需求，并提升性能：欧洲用户将仓库存于 EU 区域时，上传和下载速度约提升 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face BlogAI 评分4040 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化技巧
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 SDPA 后进一步降到 11.4 秒。
推荐理由：原文给出 SDXL 各项优化前后的显存与延迟实测数据，读者可据此选择适合自己硬件的组合方案。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方给出在浏览器内运行 Gradio 的完整用法与限制，可据此判断无服务器部署的可行边界。
OpenAI NewsAI 评分2222 Retool 用 GPT-4 为企业构建 AI 应用
Retool 借助 GPT-4 为企业提供快速、安全的 AI 应用构建方式。该方案面向商业场景，强调速度与安全性。
Hugging Face BlogAI 评分3030 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多种模型架构，包括 BERT、GPT2、T5、Whisper、Stable-Diffusion 等。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，实际生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。
Hugging Face BlogAI 评分3838 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：在 Spaces 部署 AutoTrain 与 ChatUI 模板，用 Alpaca 指令数据集微调 Meta Llama 2 7b，再部署为可分享的聊天应用。训练 7b 模型建议选用 A10G Large GPU，AutoTrain 支持 FP16、Int4/8 量化与 PEFT 等设置。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数语言模型 Mistral 7B，采用 Apache 2.0 许可，可无限制使用，并提供了参考实现、vLLM 推理服务器、Skypilot 及 HuggingFace 等使用方式。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并给出 Apache 2.0 许可与本地、云端部署路径。
Hugging Face BlogAI 评分2828 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模、1/5/10/20 并发请求及 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference for PROs 专属推理 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama 70B、Stable Diffusion XL 等精选模型的专属 HTTP API 端点，由 text-generation-inference 驱动，并享有更高速率限制。