Hugging Face 将 LLM 微调到 1.58bit：极端量化变得简单
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，成功将 Llama3 8B 微调为三值权重模型，并在 MMLU 上超过 Llama 1 7B。
推荐理由：作者公开了把已有 Llama3 8B 微调到 1.58bit 的完整技巧与踩坑过程，可迁移到其他模型的低比特微调。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 101–120 条 · 共 134 条Hugging Face Blog精选AI 评分6262
Mistral AI精选AI 评分7171 Mistral 发布免费额度、全线降价与 Mistral Small v24.09
Mistral 宣布 la Plateforme 推出免费额度，并对全线模型降价，其中 Mistral Small 与 Codestral 输入输出价格均下调 80%，Mistral Large 下调 33%。
推荐理由：官方一次性公布免费额度、全线降价与新模型，可据此比较各档模型的成本与部署选择。
OpenAI News精选AI 评分6262 OpenAI 在 API 中推出结构化输出
OpenAI 在 API 中推出结构化输出（Structured Outputs），模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由：OpenAI 官方说明 API 新增结构化输出，模型输出可稳定遵循开发者提供的 JSON Schema。
Hugging Face Blog精选AI 评分6262 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成 7B 参数模型的推理。
推荐理由：Hugging Face 官方给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤，可据此复现端侧部署流程。
Hugging Face Blog精选AI 评分6262 Hugging Face TGI 推出 Multi-LoRA 服务：一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能，只需部署一次基础模型，即可根据请求中的 adapter_id 动态加载多个 LoRA 适配器，官方称可服务 30 个模型。
推荐理由：TGI 新增 Multi-LoRA 服务能力，给出部署命令与成本对比，可据此评估多微调模型的合并部署方案。
Hugging Face Blog精选AI 评分7878 Google 发布 Gemma 2 开源大模型，含 9B 与 27B 两个版本
Google 发布 Gemma 2 系列开源大模型，包含 9B 和 27B 两个尺寸，各有基础版与指令微调版共 4 个开放权重模型，上下文长度 8K token。
推荐理由：文章梳理了 Gemma 2 的滑动窗口注意力、软上限与知识蒸馏等训练改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
OpenAI News精选AI 评分7878 OpenAI 宣布 GPT-4 API 正式可用，并公布旧版 Completions 模型退役计划
OpenAI 宣布 GPT-4 API 正式可用，GPT-3.5 Turbo、DALL·E 和 Whisper API 也同步转为正式可用。同时 OpenAI 发布了旧版 Completions API 模型的退役计划，这些模型将于 2024 年初退役。
推荐理由：OpenAI 官方公布 GPT-4 等 API 正式可用，并给出旧版 Completions 模型的退役时间表，便于开发者安排迁移。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解二值与标量嵌入量化：更快更省的检索方案
Hugging Face 发布博客介绍嵌入量化，将 float32 嵌入转为二值或 int8，分别带来 32 倍和 4 倍的内存与存储缩减。
推荐理由：用 41M 维基文本的实测数据说明二值与标量量化在检索速度、内存和成本上的取舍，方法可直接迁移。
Hugging Face Blog精选AI 评分7777 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种规模，各有基础版与指令微调版共 4 个开放模型，上下文长度 8K tokens。Hugging Face 同步完成集成，覆盖 Transformers 4.38、Google Cloud、Inference Endpoints 以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 后，Hugging Face 同步给出 2B/7B 四个模型的集成与部署路径，可对照榜单分数判断其定位。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接配合 OpenAI 客户端库以及 LangChain、LlamaIndex 使用。
推荐理由：官方给出 OpenAI 兼容接口的接入方式与限制，读者可据此评估把现有 OpenAI 调用迁到开源模型的成本。
Hugging Face Blog精选AI 评分6262 在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整走通从 ComfyUI 工作流导出 Python、包成 Gradio 应用到 ZeroGPU 免费部署的链路，可迁移到任意工作流。
Mistral AI精选AI 评分8585 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数 46.7B，每个 token 仅激活 12.9B 参数，推理速度比 Llama 2 70B 快 6 倍，在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，支持 32k token 上下文和英法意德西五种语言。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比边界。
Mistral AI精选AI 评分8080 Mistral AI 开放 La Plateforme 平台测试版，提供三个生成端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个生成文本的 chat 端点和 一个嵌入端点，各端点性能与价格不同。
推荐理由：Mistral 官方公布首批平台服务，给出三个生成端点的模型、语言与 MT-Bench 分数，可据此判断其早期 API 的能力与定价分层。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 AMD 实现 AMD GPU 上大语言模型开箱即用加速
Hugging Face 与 AMD 宣布合作进展，Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布开箱即用支持进展，读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由：官方给出单行代码替换即可提速的量化数据与 FP8 支持范围，便于判断迁移成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化技巧
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 SDPA 后进一步降到 11.4 秒。
推荐理由：原文给出 SDXL 各项优化前后的显存与延迟实测数据，读者可据此选择适合自己硬件的组合方案。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方给出在浏览器内运行 Gradio 的完整用法与限制，可据此判断无服务器部署的可行边界。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数语言模型 Mistral 7B，采用 Apache 2.0 许可，可无限制使用，并提供了参考实现、vLLM 推理服务器、Skypilot 及 HuggingFace 等使用方式。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并给出 Apache 2.0 许可与本地、云端部署路径。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B 的实践与配置
Hugging Face 博客介绍了如何用 PyTorch FSDP 在多节点多 GPU 上微调 Llama 2 70B，并给出配套的 Transformers、Accelerate 与 TRL 配置。
推荐理由：完整给出了 70B 模型多节点微调的三个显存与检查点难题及对应配置解法，可直接迁移到自有训练流程。