Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
#教程/实践
#教程/实践
今日 3 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持热启动、按请求即时加载和卸载适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成：optimum-neuron 部署指南
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 为例演示。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类性能对比：基于 LoRA 的微调实践
一项对比实验用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1（7.3B）三个模型，在灾难推文分类任务上评测性能，统一设置 MAX_LEN=512 以保证公平比较。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 StarCoder 微调出个人代码助手 HugCoder
Hugging Face 发布博客，介绍如何基于自家 GitHub 组织公开仓库代码微调出代码助手 HugCoder，让开发者可参照搭建自己的个人 copilot。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，可迁移到自有代码库搭建补全助手。
Hugging Face BlogAI 评分2222 用一行代码交互式探索你的 Hugging Face 数据集
Hugging Face datasets 库与 Renumics Spotlight 集成，只需一行代码即可对数据集进行交互式可视化。Spotlight 直接读取 datasets 的 Arrow 表结构，无需复制或预处理数据，并支持利用模型预测和嵌入向量定位关键数据簇与模型失败模式。用户可通过 GUI 或 Python API 自定义布局，用于 EDA、模型调试和监控。
Hugging Face BlogAI 评分4848 Hugging Face 复现 OpenAI RLHF 与 PPO 的实现细节
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感与描述性等风格任务上匹配了其学习曲线。
Hugging Face BlogAI 评分4040 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化技巧
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 SDPA 后进一步降到 11.4 秒。
推荐理由：原文给出 SDXL 各项优化前后的显存与延迟实测数据，读者可据此选择适合自己硬件的组合方案。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，实际生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。
Hugging Face BlogAI 评分4040 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分3838 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：在 Spaces 部署 AutoTrain 与 ChatUI 模板，用 Alpaca 指令数据集微调 Meta Llama 2 7b，再部署为可分享的聊天应用。训练 7b 模型建议选用 A10G Large GPU，AutoTrain 支持 FP16、Int4/8 量化与 PEFT 等设置。
Hugging Face BlogAI 评分2020 Rocket Money 如何借助 Hugging Face 在生产环境扩展高波动 ML 模型
Rocket Money 将每月超 1 亿笔交易的正则匹配系统迁移到基于 BERT 家族模型的文本分类方案，用于识别交易中的商户与订阅服务。经过三个月评估，团队选择 Hugging Face Inference API 托管模型，一周内即承接部分流量，并通过模拟最坏情况负载测试逐步扩大交易量。
Hugging Face BlogAI 评分5050 3D Gaussian Splatting 入门：实时渲染逼真场景的原理与前景
3D Gaussian Splatting 是一种光栅化技术，能从少量图像样本中学习并实时渲染逼真场景。它先用 COLMAP 做 Structure from Motion 估计点云，再将每个点转为高斯并借助可微高斯光栅化训练，通过自动致密化与剪枝优化细节。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解读
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标进行排名。该榜单基于 IoU、Average Precision（AP）和 Average Recall（AR）等指标评估模型，并解析了评测中可能出现的分歧与陷阱，帮助开发者挑选适合自身应用的开源模型。
Hugging Face BlogAI 评分3434 如何在生产环境中优化 LLM：低精度、Flash Attention 与架构创新
Hugging Face 博客梳理了生产环境部署 LLM 的三大优化方向：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B 的实践与配置
Hugging Face 博客介绍了如何用 PyTorch FSDP 在多节点多 GPU 上微调 Llama 2 70B，并给出配套的 Transformers、Accelerate 与 TRL 配置。
推荐理由：完整给出了 70B 模型多节点微调的三个显存与检查点难题及对应配置解法，可直接迁移到自有训练流程。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可对任意含 torch.nn.Linear 的模型做零样本量化，后者在文本生成上更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集且目前仅支持语言模型。
Hugging Face BlogAI 评分4848 Hugging Face Diffusers 让 AudioLDM 2 推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 库中优化 AudioLDM 2 文本到音频模型，通过半精度、flash attention、编译及调度器选择等手段，将推理时间缩短 10 倍以上，10 秒音频样本生成从 30 秒降至 1 秒，质量损失极小。
Hugging Face BlogAI 评分2525 如何用 🤗 Transformers 优化 Bark 文本转语音模型
Hugging Face 发布实战教程，演示如何用 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做三项优化，以降低显存占用并提升推理速度。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结的文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 基础图逐步放大至 1024x1024 px。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 库实践教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B 的完整流程。
推荐理由：Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码，读者可据此在自己的偏好数据上复现对齐训练。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，用文本提示词生成音乐，也可选用旋律片段作为条件。
Hugging Face BlogAI 评分3131 Zama 用 FHE 实现加密大语言模型推理，基于 Hugging Face GPT2 验证
Zama 展示了如何借助 Hugging Face transformers 库，用全同态加密（FHE）在加密数据上运行 GPT2 的部分推理，从而同时保护用户数据隐私与模型 IP。实现中将 GPT2 首个多头注意力头改写为 FHE 兼容算子，权重与激活量化为整数，4-bit 量化可保留原模型 96% 的准确率。完整代码已在该用例示例中开源。
Hugging Face BlogAI 评分3838 用 Shap-E 和 Dream Textures 生成 PS1 风格 3D 资产的实战指南
这篇教程演示了如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图，最后完成 UV 展开并导出 FBX 导入 Unity。整个流程面向 PS1 低多边形风格，以规避当前 text-to-3D 模型精度不足的问题。
Hugging Face BlogAI 评分4040 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 推出 AI WebTV 实验性演示，用开源文生视频模型 Zeroscope V2 与音乐生成模型 MusicGen 合成内容并直播。
Hugging Face BlogAI 评分2222 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分2828 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，借助 AMX 加速器与 IPEX、oneCCL 实现分布式训练。
Hugging Face Blog精选AI 评分6262 用 Transformers.js 制作 ML 驱动的网页游戏
Hugging Face 博客介绍了如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行。作者基于 Google Quick, Draw!
推荐理由：作者完整走通从微调 MobileViT 到浏览器内实时推理的流程，可迁移到自己的网页 ML 项目。
Hugging Face BlogAI 评分3636 如何用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何用其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，推荐将实例从 4x NVIDIA T4 换成 1x Nvidia A100，约 10 分钟即可上线。
Hugging Face BlogAI 评分2222 用开源 ML 模型打造 Web 应用生成器：基于 WizardCoder-15B 与 Hugging Face 推理端点
Hugging Face 发布教程，用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 流式生成 HTML 网页，实现文本到 Web 应用。模型通过 textGenerationStream 逐 token 输出，配合 TailwindCSS 提示词约束生成样式，并给出防止模型幻觉的提示词技巧。
Hugging Face BlogAI 评分2222 在 Habana Gaudi2 上加速 BridgeTower：视觉语言模型微调性能对比
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 视觉语言模型，相比 A100 实现 2.5 倍加速，相比 H100 实现 1.4 倍加速。
Hugging Face BlogAI 评分3636 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的语音识别。MMS 的 Adapter 训练仅需 10-20 分钟微调即可获得极低词错误率，每个 Adapter 层仅约 2.5M 权重，比微调整个模型更省内存、更稳健。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测有效：Autoformer 已加入 🤗 Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍了借助 Core ML 新优化在 iPhone、iPad 和 Mac 上加速 Stable Diffusion 的方法，核心是 6-bit palettization 量化，将权重从 16-bit 浮点压到每参数 6 bit，并在推理时逐层解压以节省内存。
推荐理由：Hugging Face 与 Apple 官方给出 6-bit palettization 的量化原理与转换命令，读者可据此把 Stable Diffusion 压到端侧运行。
Hugging Face BlogAI 评分2222 如何将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
Hugging Face BlogAI 评分1212 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示应用。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与 demo，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别（NER）模型为例，并演示通过浏览器界面上传 CSV 数据集。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，演示如何借助 Hugging Face Unity API 在 Unity 游戏中实现语音识别，把玩家语音转成文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程从搭建含开始/停止按钮和 TextMeshPro 文本框的场景入手，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送给 API。
Hugging Face BlogAI 评分3636 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代、单张 24GB 显存 GPU 不到一天即可完成。