如何将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
#教程/实践
#教程/实践
今日 3 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分1212 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示应用。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与 demo，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别（NER）模型为例，并演示通过浏览器界面上传 CSV 数据集。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，演示如何借助 Hugging Face Unity API 在 Unity 游戏中实现语音识别，把玩家语音转成文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程从搭建含开始/停止按钮和 TextMeshPro 文本框的场景入手，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送给 API。
Hugging Face BlogAI 评分3636 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代、单张 24GB 显存 GPU 不到一天即可完成。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客介绍如何借鉴 InstructPix2Pix 的训练策略与 FLAN 的指令模板思路，对 Stable Diffusion 做指令微调，使其按输入图像加指令完成卡通化、去雨等图像翻译与底层图像处理任务。
Hugging Face BlogAI 评分2828 BigCode 背后的大规模近重复数据删除
Hugging Face 博客分享了 BigCode 项目在大规模代码数据集上做近重复数据删除（near-deduplication）的实践，采用 MinHash + LSH 方法，参数为 (256, 0.7, 5)。该工作延续自 BigScience 的 ROOTS 语料去重经验，此前已确认去重能提升代码模型表现，同时使用更小的数据集。
Hugging Face BlogAI 评分3838 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数基准指标不降反升。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN 架构
Hugging Face 博客介绍 RWKV 架构，它结合了 RNN 与 Transformer 的优点，并已被集成进 transformers 库。
推荐理由：文章解释了 RWKV 如何把 RNN 的推理效率与 Transformer 的并行训练结合，并给出可直接运行的代码示例。
Hugging Face BlogAI 评分4848 如何在单块 AMD GPU 上用 ROCm 运行 Vicuna 13B 聊天机器人
Hugging Face 发布教程，介绍如何在单块 AMD GPU 上通过 ROCm 运行 13B 参数的 Vicuna 聊天机器人。Vicuna 由 UC Berkeley 等团队基于 LLaMA 微调，训练成本约 300 美元，据 GPT-4 评估其质量达到 ChatGPT 的 90% 以上。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成方法，降低文本生成延迟最高 10 倍
Hugging Face 发布辅助生成（assisted generation）方法，用一个至少小一个数量级的助手模型生成候选 token，再由主模型一次前向验证，从而减少前向次数、降低文本生成延迟。
推荐理由：Hugging Face 官方给出辅助生成方法的原理与可复现代码，读者可据此判断低延迟推理的落地条件。
Hugging Face Blog精选AI 评分6262 用 StarCoder 微调出编程助手 StarChat
Hugging Face 团队基于 BigCode 的 16B 参数 StarCoder，用 OpenAssistant 对话数据集微调出编程助手 StarChat，并开源了代码、数据集与模型。
推荐理由：完整给出了从对话提示词到 ChatML 格式、标签掩码与 DeepSpeed ZeRO-3 微调的可复现流程，并附代码与数据集链接。
Hugging Face BlogAI 评分4747 Hugging Face 深度解析文本到视频模型：从 GAN 到扩散模型的发展与挑战
Hugging Face 发文梳理文本到视频模型的发展脉络，指出该任务比文本到图像更难，需保证帧间时空一致性。早期模型基于 GAN 和 VAE，随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 Transformer 架构，当前主流则采用扩散模型。
Hugging Face BlogAI 评分2222 Hugging Face Unity API 如何安装与使用
Hugging Face Unity API 将 Hugging Face Inference API 集成进 Unity 项目，开发者可在 Unity 中调用 Hugging Face 的 AI 模型。
Hugging Face BlogAI 评分3232 用 🤗 Transformers 在 TensorFlow 和 TPU 上训练语言模型
Hugging Face 发布端到端教程，演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，以及最终模型训练与上传的完整流程。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何用 diffusers 在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上运行 DeepFloyd 的 IF 文生图模型。
推荐理由：以免费 Colab 为约束，展示 8bit 量化与分阶段加载如何把 40GB 权重的 IF 跑起来，方法可迁移到其他大模型部署。
Hugging Face BlogAI 评分2222 用 Transformers 进行图分类：基于 Graphormer 的实战教程
Hugging Face 博客发布教程，演示如何用 Transformers 库（版本 >= 4.27.2）完成图分类任务，目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face BlogAI 评分2222 Hugging Face 与 Substra 合作推出联邦学习演示空间，推动隐私保护 AI
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示 Space，让用户体验数据孤岛下联邦学习的训练效果。联邦学习让数据留在本地、仅传输模型权重，用多源数据训练的模型在验证集上几乎总是优于单一数据源模型。Substra 已在乳腺癌研究等真实场景中落地，MELLODDY 项目中 10 家生物制药公司借此共享了全球最大的小分子活性数据集。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型并公开完整 RLHF 训练流程，涵盖监督微调、奖励建模和基于 PPO 的强化学习三个阶段，全部代码集成在 TRL 库中。
推荐理由：完整走通 SFT、奖励模型与 PPO 三段 RLHF 流程，并给出 8bit 加 LoRA 在单卡上复现的配置与踩坑记录。
Hugging Face BlogAI 评分3636 在 Habana Gaudi2 加速器上实现大语言模型快速推理：BLOOMZ 基准测试
Hugging Face 发布 BLOOMZ 在 Habana Gaudi2 上的推理基准，176B 参数版本延迟 3.103 秒，比 A100 80GB 快 1.42 倍；BLOOMZ-7B 延迟 0.734 秒，比 A100 快 2.89 倍。
Hugging Face BlogAI 评分3838 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术，借助 Optimum Intel 与 OpenVINO 将单图生成延迟从 32.3 秒降至 16.7 秒，固定 512x512 分辨率后进一步降至 4.7 秒。相比上一代 Ice Lake Xeon 的原生推理，整体提速近 10 倍。
Hugging Face BlogAI 评分2222 使用 Hugging Face 和 Flower 进行联邦学习
Hugging Face 发布教程，演示如何借助 Flower 框架在多个客户端上联邦微调预训练 Transformer 模型 distilBERT，用于 IMDB 影评情感分类。
Hugging Face Blog精选AI 评分6262 用 diffusers 训练自己的 ControlNet
Hugging Face 发布教程，介绍如何用 diffusers 训练 ControlNet，并以基于 FaceSynthetics 数据集的人脸姿态模型 Uncanny Faces 为例完整走了一遍流程。
推荐理由：完整走了一遍从条件设计、数据集构建到 diffusers 训练脚本的 ControlNet 训练流程，并给出不同显存下的参数配置。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 上线 Informer：面向多变量概率时间序列预测
AAAI21 最佳论文 Informer 现已加入 🤗 Transformers，可用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。该模型基于 vanilla Transformer，通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T)，并用 Distilling 操作把堆叠层的内存占用降至 O(N·T log T)。
Hugging Face Blog精选AI 评分6666 Hugging Face 集成 trl 与 peft，在 24GB 消费级 GPU 上完成 20B LLM 的 RLHF 微调
Hugging Face 正式发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调更易上手。方案结合 8-bit 矩阵乘法、低秩适配器和 peft 的 disable_adapters 机制，用同一份模型同时充当参考模型与活动模型，从而省去第二份模型副本。
推荐理由：原文给出在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体组合方案，可迁移到其他显存受限的训练场景。
Hugging Face BlogAI 评分4848 Hugging Face 社区如何用机器学习搭建土耳其地震救灾应用 afetharita
2023 年土耳其地震后，志愿者在 Hugging Face 上协作搭建救灾应用 afetharita，用 easyocr 做 OCR、基于 bert-base-turkish-cased 微调 token 分类模型提取地址，并通过 Inference API 部署。
Hugging Face BlogAI 评分1818 Hugging Face 如何加速 Witty Works 写作助手的开发
Witty Works 借助 Hugging Face Expert Acceleration Program，将写作助手的非包容性词汇检测从 spaCy 迁移到 Sentence Transformers 架构，并用 SetFit 实现少样本微调，每个词仅需 15-20 条标注句子。
Hugging Face BlogAI 评分3030 Hugging Face 解读大语言模型红队测试：方法、风险与最佳实践
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与人类难以理解的对抗攻击不同。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 是缺乏红队评估导致灾难性后果的真实案例。红队可由人工或另一个 LM 执行，角色扮演攻击和用代码作答能绕过经 RLHF 或 SFT 对齐的模型，该领域仍处早期，需要多机构协作共享数据集与最佳实践。
Hugging Face BlogAI 评分2626 我们为何转向 Hugging Face Inference Endpoints，或许你也应该考虑
Hugging Face 推出托管服务 Inference Endpoints，可将 Hub 上的模型部署到 AWS、Azure（GCP 即将支持）等多种实例类型上。作者将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移过去，用 RoBERTa 文本分类模型测试显示，large 实例延迟约 80ms，比原方案约 200ms 快一倍以上，但成本高出 24% 至 50%。
Hugging Face Blog精选AI 评分6262 用 BLIP-2 实现零样本图像到文本生成
Hugging Face 发布指南，介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers，并演示图像描述、提示图像描述、视觉问答和对话式提示四种用法。
推荐理由：以 New Yorker 漫画为例演示 BLIP-2 的零样本图像描述、提示描述、视觉问答和对话式提示四种用法，附可运行代码。
Hugging Face BlogAI 评分2222 用 AI 生成游戏剧情：ChatGPT 在游戏开发中的实践与局限
Hugging Face 的 AI for Game Development 系列教程第五篇展示了用 ChatGPT 为农场游戏生成剧情：先让模型写故事梗概，再通过多轮对话要求其更具原创性并去除魔法元素，最后生成游戏与商店物品描述。
Hugging Face BlogAI 评分2424 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理篇
Hugging Face 在 Ice Lake 与 Sapphire Rapids 两种 Amazon EC2 实例上对比了 distilbert-base-uncased、bert-base-uncased 和 roberta-base 的推理性能，测试 16 与 128 token 句子的单条及批量预测延迟。
Hugging Face BlogAI 评分2828 Hugging Face 博客：深入解析视觉语言模型的训练策略
Hugging Face 发布博客深入解析视觉语言模型的训练方法，涵盖对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 以及免训练等五类预训练策略。文章以 OpenAI 的 CLIP 为例说明对比学习如何将图像与文本映射到同一特征空间，并介绍如何用 🤗 Transformers 实验该领域最新进展。
Hugging Face BlogAI 评分3030 用 Stable Diffusion 生成 2D 游戏素材：AI for Game Development #4
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏素材，并以农场游戏的玉米和镰刀图标为例演示完整流程。
Hugging Face Blog精选AI 评分7878 用 LoRA 高效微调 Stable Diffusion：diffusers 官方支持与实操脚本
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，覆盖 Dreambooth 和完整微调两种方式，训练脚本最低可在 11 GB 显存上运行。
推荐理由：Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的完整脚本与推理流程，可据此在 11 GB 显存上复现。
Hugging Face BlogAI 评分5252 Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF 的分工
Hugging Face 博客梳理了让对话智能体有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）提示和基于人类反馈的强化学习（RLHF），并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、训练数据、模型架构与评测方向上的差异。
Hugging Face BlogAI 评分2222 3D 资产生成：AI 用于游戏开发 #3
Hugging Face 博客"AI for Game Development"系列第 3 天聚焦 3D 资产生成，结论是 text-to-3D 目前还无法实际用于游戏开发。
Hugging Face BlogAI 评分4040 Hugging Face transformers 集成 Mask2Former 与 OneFormer，统一图像分割
Mask2Former 和 OneFormer 两款图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 统一了实例、语义和全景分割三种任务，但需分别训练；OneFormer 仅需在全景数据集上训练一次即可在三种任务上达到 SOTA，精度更高但因额外文本编码器延迟更大。作者已发布 30 个基于不同数据集训练的 checkpoint。
Hugging Face BlogAI 评分3232 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，演示如何用 🤗 Transformers 和 Datasets 库构建图像相似度检索系统。方案采用 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再用余弦相似度匹配查询图像与候选图像，示例使用 Beans 数据集，也可替换为 Swin Transformer、ConvNeXT、RegNet 等视觉模型。
Hugging Face BlogAI 评分2222 AI 游戏开发：5 天做出农场游戏（第 2 天，用 ChatGPT 做游戏设计）
Hugging Face 博客系列教程第二部分介绍如何用 ChatGPT 辅助农场游戏设计，作者让它以专业游戏设计师身份给出作物多样性、成长系统等建议，并自行取舍实现。文章同时解释语言模型与 Transformer 原理，指出 ChatGPT 常言之凿凿却出错，建议将其用作头脑风暴和加速工具而非开发流程的替代品。
Hugging Face BlogAI 评分2222 Hugging Face 博客：图机器学习入门指南
Hugging Face 发布图机器学习入门博客，介绍图的基本概念、表示方法及学习范式，涵盖从预神经网络方法到图神经网络（GNN），并延伸至面向图的 Transformer。文章还梳理了图级别、节点级别、边级别和子图级别的典型任务，如分子生成、Alphafold 的原子坐标预测、药物副作用预测与推荐系统中的缺失边预测。