Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。
#教程/实践
#教程/实践
今日 3 条Hugging Face BlogAI 评分2828
Hugging Face BlogAI 评分3232 Hugging Face 联合 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强流程，可同时修改图像内容与文本标注。该流程支持随机插入、删除、交换及停用词替换等文本增强，并配合黑化与 inpaint 保持文本质量，还可用任意文本合成新样本。初始版本中的同义词替换因耗时过高已被移除。
Hugging Face BlogAI 评分3838 用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示了如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散管线的显存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化为 FP8 后，SD3 推理显存从 16.403 GB 降至约 8.2 GB，质量几乎无损、延迟略有上升。
Hugging Face Blog精选AI 评分6262 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成 7B 参数模型的推理。
推荐理由：Hugging Face 官方给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Hugging Face BlogAI 评分2222 如何用 distilabel 打造 Argilla 2.0 聊天机器人
这篇教程演示如何用 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档切分约 256 token 的 chunk 并生成合成数据集，再微调领域专用嵌入模型、搭建向量数据库，最后将 Gradio 应用部署到 Hugging Face Space，并把对话存入 Argilla 持续评估改进。
Hugging Face Blog精选AI 评分6262 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AI 数学奥林匹克（AIMO）进步奖，在私有测试集 50 题中解出 29 题。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛与模型训练。
Hugging Face BlogAI 评分3434 Hugging Face TRL 库新增 VLM 的 DPO 偏好优化支持
Hugging Face 的 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并给出基于 Idefics2-8b 的完整训练教程。示例使用包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset，DPO 实现同时支持 Llava 1.5 和 PaliGemma。文章还测算了 8B 模型全参数训练约需 160GB 显存，需借助量化等技术才能跑通。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质语言模型 ProtST 重新架构并发布在 Hugging Face Hub，并基于 Optimum for Intel Gaudi 库在 Gaudi 2 上完成推理与微调。
Hugging Face BlogAI 评分3636 微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 视觉语言模型仅有 0.2B 和 0.7B 两种小尺寸，原生支持 captioning、目标检测、OCR 等任务，但发布的模型不含 VQA 能力。在 DocVQA 数据集上微调七个 epoch 后，验证集 Levenshtein 相似度从 0 提升至 57.0，作者建议用 The Cauldron 进一步微调以获得更强的 VQA 模型。
Hugging Face BlogAI 评分3434 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face BlogAI 评分4848 Hugging Face TRL 推出 RLOO Trainer，把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外的在线 RLHF 训练算法。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，原因是现有文档内容零散、导航困难且过时。新版将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并放弃 Diátaxis 的刚性结构，改为随内容自然生长的有机结构，让新增内容与原有文档融合而非层层叠加。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face BlogAI 评分2626 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并评测吞吐量与延迟，帮助用户按需调优 LLM 部署。该工具随 TGI 一同安装，需在服务器端运行，通过 CLI 交互式执行，并提供预填充吞吐量与延迟散点图等可视化结果。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，嵌入模型跑在 Granite Rapids CPU 上，LLM 跑在 Gaudi 2 上。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API 端点。
Hugging Face BlogAI 评分3838 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%，且模型排名也随之改变。为此 Hugging Face 与 .txt 合作，尝试用结构化生成库 Outlines 约束模型输出，以降低提示词格式带来的评测方差。
Hugging Face BlogAI 评分3232 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署并运行加密推理。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
Hugging Face BlogAI 评分3838 Hugging Face 详解视觉语言模型：架构、开源模型与微调方法
Hugging Face 发布视觉语言模型入门指南，梳理其核心架构由图像编码器、嵌入投影器和文本解码器组成，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型。文章还介绍了 Vision Arena、Open VLM Leaderboard 等评测榜单及 MMMU、MMBench 等基准，并演示如何用新版 trl 微调这类模型。
Hugging Face BlogAI 评分2222 用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 是专为 DuckDB SQL 设计的大语言模型，基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据对进一步优化，可生成包括官方文档与扩展在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释这一开源 Python 库、Hub 与 Spaces 的基本概念。教程以在 Hugging Face Space 的 JupyterLab notebook 中运行微软 Phi-2 LLM 为例，需租用 24GB 显存的 NVIDIA A10G GPU，每小时仅需几美元。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解二值与标量嵌入量化：更快更省的检索方案
Hugging Face 发布博客介绍嵌入量化，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。
推荐理由：用 41M 维基文本的实测数据说明二值与标量量化在检索速度、内存和成本上的取舍，方法可直接迁移。
Hugging Face BlogAI 评分4040 在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成推理。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 GaLore：在消费级硬件上训练大模型
Hugging Face 发布博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，让 70 亿参数模型（如 Llama 架构）在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的完整用法和可运行代码，读者可据此在消费级显卡上复现大模型训练。
Hugging Face BlogAI 评分3434 用 Optimum Intel 和 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客展示如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上为 BGE 等嵌入模型带来显著性能提升，并轻松接入现有 RAG 流水线。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，仅需几行代码即可完成端到端的预处理与后处理。
Hugging Face BlogAI 评分3636 Hugging Face：AI 水印工具与技术入门指南
Hugging Face 发文梳理 AI 生成内容的水印方案，区分生成时嵌入与生成后添加两类方法，并盘点 Hub 上的相关工具。文中提到 Glaze、Photoguard 可微调图像干扰 AI 处理，Nightshade、Fawkes 则通过"投毒"破坏训练假设；Truepic 按 C2PA 标准嵌入元数据，IMATAG 采用水印器与检测器闭源、调用代码开源的混合模式。
Hugging Face BlogAI 评分4040 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。教程以 LoRA 为例，结合 QLoRA 的 4-bit 量化，在 GPU 和 Cloud TPU 上以低显存成本完成微调，并使用 Abirate/english_quotes 数据集演示训练流程。
Hugging Face BlogAI 评分5050 Hugging Face 详解 Matryoshka 嵌入模型：原理、训练与实战
Hugging Face 发布 Matryoshka 嵌入模型入门指南，介绍这类模型可将完整嵌入截断为多种维度仍保持性能，灵感来自俄罗斯套娃，由 Kusupati 等人于 2022 年提出。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：用开源 LLM 合成数据训练定制模型，成本降至 2.7 美元
Hugging Face 发布教程，展示如何用开源 LLM 生成合成数据来训练更小更专用的模型。案例以金融新闻投资者情绪分类为例，用 Mixtral-8x7B-Instruct-v0.1 配合 CoT 与 Self-Consistency 标注数据。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源 llm-swarm 工具，基于 TGI 和 vLLM 在 Slurm 集群上做可扩展合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与评测对比，可迁移到自定义价值观对齐。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战指南
Hugging Face 博客演示了 PatchTST 时间序列模型的用法：先在 Electricity 数据集上训练并评估预测性能，再用该模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。
Hugging Face BlogAI 评分2424 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit/4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍的推理加速。其中 Q8-StarCoder 采用 SmoothQuant 静态量化，精度与 BF16 基线持平甚至略有提升，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。Wav2Vec2-BERT 是 580M 参数音频模型，预训练于 4.5M 小时、覆盖 143 种语言的无标注音频。
Hugging Face BlogAI 评分3232 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的 LLM 对齐方法实证评测
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法，扫描 β 等关键超参数并用 MT-Bench 评估。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理，吞吐量相比 PyTorch 最高提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整走通从 ComfyUI 工作流导出 Python、包成 Gradio 应用到 ZeroGPU 免费部署的链路，可迁移到任意工作流。