用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码（Transformers 中的 assisted generation）将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。
推荐理由：以 Whisper 为例给出投机解码的完整实现与基准数据，可迁移到其他自回归模型的推理加速。
全部AI 动态
全部动态
今日 4 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分2222 Hugging Face 回顾 2023：开源大语言模型之年
Hugging Face 发布 2023 年开源 LLM 回顾，梳理了 BLOOM、OPT、GLM-130B 等预训练模型家族。BLOOM 最大版本为 176B 参数，基于 350B token 的 46 种人类语言和 13 种编程语言数据训练；Meta 的 OPT 最大版本为 175B 参数，训练数据 180B token。
OpenAI NewsAI 评分1818 Summer Health 借助 OpenAI 提升儿科就诊记录准确率
Summer Health 利用 OpenAI 重新构想儿科就诊流程，以提升就诊记录的准确性。
OpenAI News精选AI 评分6060 OpenAI 启动 1000 万美元 Superalignment Fast Grants 资助计划
OpenAI 宣布投入 1000 万美元设立 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性和可扩展监督等。
推荐理由：OpenAI 出资 1000 万美元资助超人类 AI 对齐研究，可了解其关注的具体技术方向。
OpenAI NewsAI 评分4848 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向，探索能否利用深度学习的泛化特性，用弱监督者控制更强的模型，并给出了初步的积极结果。
OpenAI NewsAI 评分3535 OpenAI 与 Axel Springer 合作，将新闻业深度整合进 AI 技术
OpenAI 与 Axel Springer 达成合作，后者成为全球首家与 OpenAI 深度整合新闻业与 AI 技术的出版机构。双方将推动 AI 在新闻领域的良性应用。
Mistral AI精选AI 评分8585 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数 46.7B，每个 token 仅激活 12.9B 参数，推理速度比 Llama 2 70B 快 6 倍，在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，支持 32k token 上下文和英法意德西五种语言。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比边界。
Mistral AI精选AI 评分8080 Mistral AI 开放 La Plateforme 平台测试版，提供三个生成端点与嵌入端点
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问，提供三个生成文本的 chat 端点和 一个嵌入端点，各端点性能与价格不同。
推荐理由：Mistral 官方公布首批平台服务，给出三个生成端点的模型、语言与 MT-Bench 分数，可据此判断其早期 API 的能力与定价分层。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
Hugging Face Blog精选AI 评分8080 Mistral 发布 Mixtral 8x7B，Hugging Face 全面集成
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，8 个专家模型每个时间步激活 2 个，总参数量约 45B，支持 32k token 上下文，在多数基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由：文章给出 Mixtral 8x7B 的架构说明、基准对比与 Hugging Face 全套集成方式，便于判断开源 MoE 模型的可用性。
Hugging Face BlogAI 评分4040 Hugging Face 与 Intel Labs 推出 SetFitABSA：基于 SetFit 的少样本方面级情感分析
Hugging Face 与 Intel Labs 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 AMD 实现 AMD GPU 上大语言模型开箱即用加速
Hugging Face 与 AMD 宣布合作进展，Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行，并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由：Hugging Face 与 AMD 公布开箱即用支持进展，读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
Hugging Face BlogAI 评分5252 Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持热启动、按请求即时加载和卸载适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由：官方给出单行代码替换即可提速的量化数据与 FP8 支持范围，便于判断迁移成本。
Hugging Face BlogAI 评分3434 Open LLM Leaderboard 深度解析 DROP 基准评分异常
Open LLM Leaderboard 新增 DROP 基准后，绝大多数模型 f1-score 低于 10 分。Hugging Face 排查发现，归一化步骤会忽略后接非空格空白符的数字答案，且以 . 作为停止词会截断浮点答案、让长回答的高质量模型 f1 更低。改用 \n 作为停止词重新计算后，分数与模型整体表现的相关性明显改善。
OpenAI News精选AI 评分8080 Sam Altman 回归 OpenAI 担任 CEO，公司组建新初始董事会
OpenAI 宣布 Sam Altman 回归担任 CEO，Greg Brockman 回归担任总裁，Mira Murati 继续担任 CTO，公司同时成立新的初始董事会。官方还附上了 CEO Sam Altman 与董事会主席 Bret Taylor 的致辞。
推荐理由：OpenAI 官方确认 Sam Altman 回归 CEO 并公布新一届初始董事会，可据此了解这场人事风波的最终安排。
OpenAI News精选AI 评分8585 OpenAI 宣布领导层变动
OpenAI 宣布领导层变动，官方公告未提供更多细节。
OpenAI NewsAI 评分3838 OpenAI 数据合作计划：共建开源与私有 AI 训练数据集
OpenAI 启动 Data Partnerships 计划，与各方合作创建用于 AI 训练的开源和私有数据集。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 LCM LoRA，SDXL 4 步即可出图
Hugging Face 发布 Latent Consistency LoRA（LCM LoRA），通过训练少量 LoRA 适配层而非蒸馏整个模型，让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由：官方给出 LCM LoRA 的推理代码、多硬件速度对比和训练脚本，读者可据此判断少步数生成的可用性。
Hugging Face BlogAI 评分3131 Explosion 推出 Prodigy-HF：与 Hugging Face 直接集成
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接对接 Hugging Face 生态。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成：optimum-neuron 部署指南
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 为例演示。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类性能对比：基于 LoRA 的微调实践
一项对比实验用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1（7.3B）三个模型，在灾难推文分类任务上评测性能，统一设置 MAX_LEN=512 以保证公平比较。
OpenAI News精选AI 评分9090 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文且价格更低，并推出 GPT-4 Turbo with Vision。同时公布新的 Assistants API 和 DALL·E 3 API 等开发者产品。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其 API 能力与定价方向。
Hugging Face BlogAI 评分2222 Hugging Face Hub 推出存储区域功能，支持 US 和 EU
Hugging Face 为 Enterprise Hub 推出 Storage Regions，让组织决定模型和数据集的存储位置，目前支持 US 和 EU，亚太地区即将上线。该功能用于满足监管与法律合规（如欧盟 GDPR）需求，并提升性能：欧洲用户将仓库存于 EU 区域时，上传和下载速度约提升 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 StarCoder 微调出个人代码助手 HugCoder
Hugging Face 发布博客，介绍如何基于自家 GitHub 组织公开仓库代码微调出代码助手 HugCoder，让开发者可参照搭建自己的个人 copilot。
推荐理由：完整给出从数据采集到 QLoRA 与全量微调的成本对比，可迁移到自有代码库搭建补全助手。
OpenAI NewsAI 评分3636 OpenAI 构建前沿风险与准备工作体系
OpenAI 正在制定灾难性风险应对方案，以保障高能力 AI 系统的安全，具体举措包括组建一支 Preparedness 团队并发起一项挑战赛。
OpenAI NewsAI 评分3838 OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事，并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同推进，此次更新聚焦于治理层人事与安全资金两项安排。
Hugging Face BlogAI 评分2222 用一行代码交互式探索你的 Hugging Face 数据集
Hugging Face datasets 库与 Renumics Spotlight 集成，只需一行代码即可对数据集进行交互式可视化。Spotlight 直接读取 datasets 的 Arrow 表结构，无需复制或预处理数据，并支持利用模型预测和嵌入向量定位关键数据簇与模型失败模式。用户可通过 GUI 或 Python API 自定义布局，用于 EDA、模型调试和监控。
Hugging Face BlogAI 评分4848 Hugging Face 复现 OpenAI RLHF 与 PPO 的实现细节
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感与描述性等风格任务上匹配了其学习曲线。
Hugging Face BlogAI 评分4040 用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 发布教程，介绍如何通过 Text Embeddings Inference（TEI）将开源嵌入模型部署到 Hugging Face Inference Endpoints。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测 SDXL 的简单推理优化技巧
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化，未优化管线需 28GB 显存、72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 SDPA 后进一步降到 11.4 秒。
推荐理由：原文给出 SDXL 各项优化前后的显存与延迟实测数据，读者可据此选择适合自己硬件的组合方案。
Hugging Face Blog精选AI 评分6262 Gradio-Lite 发布：完全在浏览器中运行的无服务器 Gradio
Hugging Face 发布 @gradio/lite，一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库，无需服务器端基础设施。
推荐理由：官方给出在浏览器内运行 Gradio 的完整用法与限制，可据此判断无服务器部署的可行边界。
OpenAI NewsAI 评分3535 Typeform 用 GPT-3.5 和 GPT-4 将在线表单升级为动态数据收集
Typeform 借助 GPT-3.5 和 GPT-4 把在线表单升级为动态、对话式的数据收集体验。
OpenAI NewsAI 评分1818 Ironclad 用 GPT-4 简化合同审查流程
Ironclad 借助 GPT-4 简化合同审查流程。该工具将 AI 引入合同审阅环节，帮助用户更高效地处理合同文本。
OpenAI NewsAI 评分2222 Retool 用 GPT-4 为企业构建 AI 应用
Retool 借助 GPT-4 为企业提供快速、安全的 AI 应用构建方式。该方案面向商业场景，强调速度与安全性。
Hugging Face BlogAI 评分3030 ONNX Runtime 加速 Hugging Face 超 13 万个模型
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速，覆盖 90 多种模型架构，包括 BERT、GPT2、T5、Whisper、Stable-Diffusion 等。以 whisper-tiny 为例，使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。原文正文未能抓取，具体评估内容暂不可见。
Hugging Face Blog精选AI 评分6262 Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的性能下降
Hugging Face tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，避免因格式不一致造成的静默性能下降。
推荐理由：Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性，读者可据此理解格式错配为何会静默拉低模型表现。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 加速 Stable Diffusion XL 推理
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX jit 编译与 XLA pmap 并行，在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像，实际生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半。
Hugging Face BlogAI 评分2222 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space，以避免官方 Space 的长时间等待。