ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多种模型架构，包括 BERT、GPT2、T5、Whisper、Stable-Diffusion 等。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
#开源生态
#开源生态
今日 4 条Hugging Face BlogAI 评分3030
Hugging Face Blog精选AI 评分6262 Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的性能下降
Hugging Face tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，避免因格式不一致造成的静默性能下降。
推荐理由：Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性，读者可据此理解格式错配为何会静默拉低模型表现。
Hugging Face BlogAI 评分1212 Hugging Face ethics and society newsletter #5：Hugging Face 走进华盛顿与 2023 夏季随想
Hugging Face 发布 Ethics and Society Newsletter #5，回顾 2023 夏季在 AI 伦理与政策方面的工作。CEO Clem 向美国国会作证并在参议院 AI Insight Forum 发言，公司还就 E.U. AI Act、NTIA AI Accountability 提交意见。
Mistral AI精选AI 评分7878 Mistral AI 发布首个模型 Mistral 7B，以 Apache 2.0 开源
Mistral AI 发布首个模型 Mistral 7B，这是一个 7B 参数模型，在全部标准英文与代码基准上超过当时所有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布、可无限制使用。官方称这是三个月内从零搭建团队、MLops 栈与数据处理流水线的结果，同时开放 GitHub 仓库和 Discord 频道，并计划今年秋季继续发布更大模型与新架构。
推荐理由：Mistral AI 首篇官方博客，交代开源路线与 Mistral 7B 的定位，可对照其后续模型演进。
Mistral AI精选AI 评分8080 Mistral AI 发布 7.3B 参数模型 Mistral 7B
Mistral AI 发布 7.3B 参数语言模型 Mistral 7B，采用 Apache 2.0 许可，可无限制使用，并提供了参考实现、vLLM 推理服务器、Skypilot 及 HuggingFace 等使用方式。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并给出 Apache 2.0 许可与本地、云端部署路径。
Hugging Face BlogAI 评分2828 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种规模、1/5/10/20 并发请求及 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分4242 Hugging Face 为 PRO 用户推出 Inference for PROs 专属推理 API
Hugging Face 为 PRO 用户推出 Inference for PROs，提供 Meta Llama 3 Instruct、Mixtral 8x7B Instruct、Code Llama 70B、Stable Diffusion XL 等精选模型的专属 HTTP API 端点，由 text-generation-inference 驱动，并享有更高速率限制。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解读
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标进行排名。该榜单基于 IoU、Average Precision（AP）和 Average Recall（AR）等指标评估模型，并解析了评测中可能出现的分歧与陷阱，帮助开发者挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Würstchen：面向图像生成的快速扩散模型
Hugging Face 发布 Würstchen，一个文本条件部分在高压缩潜空间中工作的扩散模型，通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 实现 42x 空间压缩，Stage C 在该潜空间中训练。
推荐理由：原文给出 42x 空间压缩与训练算力对比，读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B 的实践与配置
Hugging Face 博客介绍了如何用 PyTorch FSDP 在多节点多 GPU 上微调 Llama 2 70B，并给出配套的 Transformers、Accelerate 与 TRL 配置。
推荐理由：完整给出了 70B 模型多节点微调的三个显存与检查点难题及对应配置解法，可直接迁移到自有训练流程。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 原生支持的量化方案概览
Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据即可对任意含 torch.nn.Linear 的模型做零样本量化，后者在文本生成上更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集且目前仅支持语言模型。
Hugging Face BlogAI 评分3838 Hugging Face SafeCoder 对比闭源代码助手：StarCoder 模型、可定制与隐私优势
Hugging Face 发布企业级代码助手 SafeCoder，基于 155 亿参数的 StarCoder 开源模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle。
Hugging Face Blog精选AI 评分6262 Hugging Face 为 SDXL 带来 T2I-Adapter 支持
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件控制的预训练权重。
推荐理由：对比 ControlNet 的参数与显存占用，并给出可直接运行的 diffusers 代码与多个条件模型权重。
Hugging Face Blog精选AI 评分8080 TII 的 Falcon 180B 上线 Hugging Face
TII 的 Falcon 180B 正式上线 Hugging Face，以 1800 亿参数成为当时最大的公开可用语言模型，基于 RefinedWeb 等数据训练了 3.5 万亿 token，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：官方给出 180B 模型的训练规模、评测对比与显存需求，可据此判断开源大模型的部署门槛。
Hugging Face BlogAI 评分4848 Hugging Face Diffusers 让 AudioLDM 2 推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 库中优化 AudioLDM 2 文本到音频模型，通过半精度、flash attention、编译及调度器选择等手段，将推理时间缩短 10 倍以上，10 秒音频样本生成从 30 秒降至 1 秒，质量损失极小。
Hugging Face Blog精选AI 评分8282 Code Llama 发布：Llama 2 学会写代码，Hugging Face 生态同步集成
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的代码模型家族，包含 7B、13B、34B 三个规模，并额外提供 Python 专精版和指令微调版，采用与 Llama 2 相同的社区许可，可商用。
推荐理由：Hugging Face 生态对 Code Llama 的集成说明，含 7B/13B/34B 各版本基准与部署方式，便于判断选型与落地成本。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小批量下推理速度与 fp16 基线相当。
推荐理由：Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益，可据此判断本地部署大模型的可行路径。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，复现 DeepMind 未公开的 Flamingo，接受任意图像与文本序列输入并生成文本。模型提供 9B 和 80B 两个参数规模，各有基础版和指令微调版，仅基于公开数据与模型（LLaMA v1、OpenCLIP）构建。
推荐理由：IDEFICS 用公开数据和模型复现了未开源的 Flamingo，读者可了解其数据构成与开放程度。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布企业级代码助手 SafeCoder，基于 StarCoder 系列代码大模型构建，支持客户在自有基础设施上自托管部署，训练与推理全程代码不离开 VPC。该方案采用 15B 参数模型，支持 8,192 tokens 上下文，可适配 NVIDIA、AMD、Intel 及 AWS Inferentia2、Habana Gaudi 等硬件。
Hugging Face BlogAI 评分2222 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作，由冻结的文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 基础图逐步放大至 1024x1024 px。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 库实践教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B 的完整流程。
推荐理由：Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码，读者可据此在自己的偏好数据上复现对齐训练。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者能在 Apple 设备上通过 Core ML 运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 发布 Swift 端侧 LLM 工具链，读者可了解在 Apple 设备上跑 Llama 2 的完整路径与当前限制。
Hugging Face BlogAI 评分2222 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 发布教程，介绍如何通过 Inference Endpoints 的自定义 handler 部署 MusicGen 音乐生成模型。用户需复制 facebook/musicgen-large 仓库，添加 handler.py 和 requirements.txt，即可创建端点，用文本提示词生成音乐，也可选用旋律片段作为条件。
Hugging Face BlogAI 评分2626 Hugging Face 用机器学习为 Hub 数据集补全语言元数据
Hugging Face 正用机器学习检测 Hub 上缺少语言元数据的数据集语言，并通过 librarian-bots 提交 PR 补全这些元数据。Hub 现有约 5 万个公开数据集，仅约 13% 标注了语言信息，其中约 19% 标注为 en。
Hugging Face BlogAI 评分3131 Zama 用 FHE 实现加密大语言模型推理，基于 Hugging Face GPT2 验证
Zama 展示了如何借助 Hugging Face transformers 库，用全同态加密（FHE）在加密数据上运行 GPT2 的部分推理，从而同时保护用户数据隐私与模型 IP。实现中将 GPT2 首个多头注意力头改写为 FHE 兼容算子，权重与激活量化为整数，4-bit 量化可保留原模型 96% 的准确率。完整代码已在该用例示例中开源。
Hugging Face BlogAI 评分5555 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，图像保真度接近基础模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 用混合位宽量化把 Stable Diffusion XL 搬上 Mac Core ML
Hugging Face 与 Apple 将 Stable Diffusion XL 基础模型移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上通过 Swift 应用或 Hugging Face 演示应用运行，目前使用 ORIGINAL attention 实现，refiner 阶段尚未移植。
推荐理由：Hugging Face 与 Apple 把 SD XL 移植到 Core ML 并给出混合位宽量化配方，读者可据此判断 Mac 本地跑大模型的可行路径。
Hugging Face BlogAI 评分5757 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 在 huggingface.js 下发布 Agents.js，一个可在浏览器或服务端为 LLM 提供工具访问的 JavaScript 库，内置若干多模态工具并支持自定义工具与模型。
Hugging Face BlogAI 评分3636 Hugging Face 联合 Creative Commons、Eleuther AI 等发布 EU AI Act 开放 ML 立场文件
Hugging Face 联合 Creative Commons、Eleuther AI、GitHub、LAION 和 Open Future 发布立场文件，就 EU AI Act 提出五项建议。
Hugging Face BlogAI 评分2222 Hugging Face 首届开源 AI Game Jam 结果揭晓：Snip It 夺冠
Hugging Face 公布首届开源 AI Game Jam 结果，活动吸引超 1300 人报名、收到 88 款游戏，冠军由 ohmlet 的 Snip It 获得，该游戏用 Stable Diffusion 生成素材。
Hugging Face BlogAI 评分2222 Hugging Face Diffusers 一周年：从文生图到视频、3D 的扩散模型工具箱
Hugging Face 的 Diffusers 库迎来一周年，已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face Blog精选AI 评分9090 Meta 发布 Llama 2，Hugging Face 同步上线 12 个开放模型
Meta 发布 Llama 2 系列开放大语言模型，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可，代码、预训练模型和微调模型同日放出。
推荐理由：Meta 开放 Llama 2 商用许可，Hugging Face 同步给出推理、量化与微调的完整接入路径。
Hugging Face BlogAI 评分4040 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 推出 AI WebTV 实验性演示，用开源文生视频模型 Zeroscope V2 与音乐生成模型 MusicGen 合成内容并直播。
Hugging Face BlogAI 评分2222 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、LLM 服务工具及 PEFT 微调。
Hugging Face Blog精选AI 评分6262 用 Transformers.js 制作 ML 驱动的网页游戏
Hugging Face 博客介绍了如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行。作者基于 Google Quick, Draw!
推荐理由：作者完整走通从微调 MobileViT 到浏览器内实时推理的流程，可迁移到自己的网页 ML 项目。
Hugging Face BlogAI 评分3636 如何用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何用其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，推荐将实例从 4x NVIDIA T4 换成 1x Nvidia A100，约 10 分钟即可上线。
Hugging Face BlogAI 评分1212 Hugging Face 对话 Writer CTO：从用户到开源模型贡献者的生成式 AI 规模化实践
Hugging Face 的 Jeff Boudier 对话 Writer 联合创始人兼 CTO Waseem Alshikh，回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。双方还讨论了当前生成式 AI 的最大误区、Writer 贡献开源模型的原因，以及 Writer 如何在 CPU 和 GPU 上规模化部署 LLM、CPU 推理效率对生产的重要性。
Hugging Face BlogAI 评分2222 Hugging Face 通讯第4期：文本到图像模型中的偏见
Hugging Face 发布 Ethics and Society Newsletter 第4期，聚焦文本到图像模型的偏见问题。文章梳理了训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等偏见来源，并指出 Stable Diffusion 和 Dall-E 2 等模型存在多样性不足与刻板印象。文中还介绍了 Stable Bias 项目用于探索和比较偏见的工具。
Hugging Face BlogAI 评分3434 Open LLM Leaderboard 的 MMLU 评分为何与 LLaMA 论文对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值：榜单基于 EleutherAI LM Evaluation Harness，而 LLaMA 团队用的是 UC Berkeley 原始实现，Stanford HELM 又是第三种实现。
Hugging Face BlogAI 评分2222 Hugging Face 就美国 NTIA AI 问责政策提交回应意见
Hugging Face 于 6 月 12 日向美国商务部 NTIA 提交 AI 问责政策回应，强调文档与透明度规范在推动 AI 问责中的作用。其建议问责机制应覆盖 ML 开发全流程、结合内部要求与外部访问透明，并吸纳开发者、多学科研究社区、倡导组织、政策制定者和记者等最广泛参与者。Hugging Face 称已在 BigScience 和 BigCode 项目中实践上述思路。