Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
开源生态
全部主题开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
263条精选相关主题模型发布Hugging FaceAI 编码
最新精选
第 201–220 条 · 共 263 条Hugging Face Blog精选AI 评分6262 Hugging Face Blog精选AI 评分8080 Mistral 发布 Mixtral 8x7B，Hugging Face 全面集成
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，8 个专家模型每个时间步激活 2 个，总参数量约 45B，支持 32k token 上下文，在多数基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：文章给出 Mixtral 8x7B 的架构说明、基准对比与 Hugging Face 全套集成方式，便于判断开源 MoE 模型的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 AMD 实现 AMD GPU 上大语言模型开箱即用加速
Hugging Face 与 AMD 宣布合作进展，Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布开箱即用支持进展，读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由：官方给出单行代码替换即可提速的量化数据与 FP8 支持范围，便于判断迁移成本。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 LCM LoRA，SDXL 4 步即可出图
Hugging Face 发布 Latent Consistency LoRA（LCM LoRA），通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：官方给出 LCM LoRA 的推理代码、多硬件速度对比和训练脚本，读者可据此判断少步数生成的可用性。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 StarCoder 微调出个人代码助手 HugCoder
Hugging Face 发布博客，介绍如何基于自家 GitHub 组织公开仓库代码微调出代码助手 HugCoder，让开发者可参照搭建自己的个人 copilot。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，可迁移到自有代码库搭建补全助手。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化技巧
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 SDPA 后进一步降到 11.4 秒。
推荐理由：原文给出 SDXL 各项优化前后的显存与延迟实测数据，读者可据此选择适合自己硬件的组合方案。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方给出在浏览器内运行 Gradio 的完整用法与限制，可据此判断无服务器部署的可行边界。
Hugging Face Blog精选AI 评分6262 Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的性能下降
Hugging Face tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，避免因格式不一致造成的静默性能下降。
推荐理由：Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性，读者可据此理解格式错配为何会静默拉低模型表现。
Mistral AI精选AI 评分7878 Mistral AI 发布首个模型 Mistral 7B，以 Apache 2.0 开源
Mistral AI 发布首个模型 Mistral 7B，这是一个 7B 参数模型，在全部标准英文与代码基准上超过当时所有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布、可无限制使用。官方称这是三个月内从零搭建团队、MLops 栈与数据处理流水线的结果，同时开放 GitHub 仓库和 Discord 频道，并计划今年秋季继续发布更大模型与新架构。
推荐理由：Mistral AI 首篇官方博客，交代开源路线与 Mistral 7B 的定位，可对照其后续模型演进。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数语言模型 Mistral 7B，采用 Apache 2.0 许可，可无限制使用，并提供了参考实现、vLLM 推理服务器、Skypilot 及 HuggingFace 等使用方式。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并给出 Apache 2.0 许可与本地、云端部署路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Würstchen：面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen，一个文本条件部分在高压缩潜空间中工作的扩散模型，通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩，Stage C 在该潜空间中训练。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B 的实践与配置
Hugging Face 博客介绍了如何用 PyTorch FSDP 在多节点多 GPU 上微调 Llama 2 70B，并给出配套的 Transformers、Accelerate 与 TRL 配置。
推荐理由：完整给出了 70B 模型多节点微调的三个显存与检查点难题及对应配置解法，可直接迁移到自有训练流程。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 SDXL 带来 T2I-Adapter 支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件控制的预训练权重。
推荐理由：对比 ControlNet 的参数与显存占用，并给出可直接运行的 diffusers 代码与多个条件模型权重。
Hugging Face Blog精选AI 评分8080 TII 的 Falcon 180B 上线 Hugging Face
TII 的 Falcon 180B 正式上线 Hugging Face，以 1800 亿参数成为当时最大的公开可用语言模型，基于 RefinedWeb 等数据训练了 3.5 万亿 token，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：官方给出 180B 模型的训练规模、评测对比与显存需求，可据此判断开源大模型的部署门槛。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 学会写代码，Hugging Face 生态同步集成
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的代码模型家族，包含 7B、13B、34B 三个规模，并额外提供 Python 专精版和指令微调版，采用与 Llama 2 相同的社区许可，可商用。
推荐理由：Hugging Face 生态对 Code Llama 的集成说明，含 7B/13B/34B 各版本基准与部署方式，便于判断选型与落地成本。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，复现 DeepMind 未公开的 Flamingo，接受任意图像与文本序列输入并生成文本。模型提供 9B 和 80B 两个参数规模，各有基础版和指令微调版，仅基于公开数据与模型（LLaMA v1、OpenCLIP）构建。
推荐理由：IDEFICS 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 库实践教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B 的完整流程。
推荐理由：Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码，读者可据此在自己的偏好数据上复现对齐训练。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者能在 Apple 设备上通过 Core ML 运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 发布 Swift 端侧 LLM 工具链，读者可了解在 Apple 设备上跑 Llama 2 的完整路径与当前限制。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 用混合位宽量化把 Stable Diffusion XL 搬上 Mac Core ML
Hugging Face 与 Apple 将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上通过 Swift 应用或 Hugging Face 演示应用运行，目前使用 ORIGINAL attention 实现，refiner 阶段尚未移植。
推荐理由：Hugging Face 与 Apple 把 SD XL 移植到 Core ML 并给出混合位宽量化配方，读者可据此判断 Mac 本地跑大模型的可行路径。