Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分3434
Hugging Face BlogAI 评分4848 Hugging Face TRL 推出 RLOO Trainer，把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外的在线 RLHF 训练算法。
Hugging Face Blog精选AI 评分7272 Diffusers 接入 Stable Diffusion 3 Medium，含显存优化与 LoRA 微调脚本
Stability AI 的 Stable Diffusion 3 Medium（2B 参数）已上线 Hugging Face Hub 并支持 Diffusers 调用，官方同时提供了模型、Diffusers 集成以及 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由：官方给出 SD3 Medium 在 Diffusers 中的接入方式、显存优化与微调脚本，可直接对照复现。
Hugging Face BlogAI 评分2222 Hugging Face 为 Amazon SageMaker 推出 Embedding Container，正式 GA
Hugging Face Embedding Container for Amazon SageMaker 正式 GA，AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，原因是现有文档内容零散、导航困难且过时。新版将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并放弃 Diátaxis 的刚性结构，改为随内容自然生长的有机结构，让新增内容与原有文档融合而非层层叠加。
Hugging Face BlogAI 评分5050 Artificial Analysis 发布文生图排行榜与竞技场
Artificial Analysis 推出文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
Hugging Face BlogAI 评分4242 Hugging Face 推出 NPC-Playground：在浏览器中与 LLM 驱动的 NPC 互动
Hugging Face 上线 NPC-Playground，一个由 Cubzh 与 Gigax 打造的 3D 演示，可在浏览器中与 LLM 驱动的 NPC 对话，并用几行 Lua 脚本教它们新技能。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face Blog精选AI 评分6262 Hugging Face 披露 Spaces secrets 遭未授权访问并更新安全措施
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分 secrets 可能被未授权读取。作为处置，官方已撤销这些 secrets 中的部分 HF token 并邮件通知相关用户，建议用户刷新密钥或 token 并改用细粒度访问 token。
推荐理由：官方披露 Spaces secrets 遭未授权访问及已采取的处置措施，可了解平台安全策略的调整方向。
Hugging Face BlogAI 评分2626 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并评测吞吐量与延迟，帮助用户按需调优 LLM 部署。该工具随 TGI 一同安装，需在服务器端运行，通过 CLI 交互式执行，并提供预填充吞吐量与延迟散点图等可视化结果。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2：11B 参数预训练语言模型与 VLM，训练数据超 5000B tokens、支持 11 种语言
TII 发布 Falcon 2 系列，包含 11B 基础语言模型和具备图像理解能力的 11B VLM，训练数据超过 5000B tokens，主要支持英语并覆盖西班牙语、法语、德语等另外十种语言。
推荐理由：TII 官方给出 Falcon 2 的训练数据、架构与评测对比，可据此判断 11B 小模型在多语言和视觉理解上的位置。
Hugging Face BlogAI 评分4242 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 宣布可在 AWS Inferentia2 上部署 Hub 中超过 100,000 个公开模型，新增 14 种模型架构和 6 类机器学习任务，并支持在 Amazon SageMaker 上使用。
Hugging Face BlogAI 评分2222 Hugging Face Spaces 推出 Dev Mode，可一键连接 VS Code 或 SSH
Hugging Face Spaces 发布 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试，满意后再 commit 和 merge 保存改动。
Hugging Face BlogAI 评分4040 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分4242 Hugging Face 在 AMD Instinct MI300 GPU 上的支持与优化
Hugging Face 宣布 AMD Instinct MI300 已在 Hugging Face 平台获得一等公民级集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face BlogAI 评分4242 Hugging Face 与微软深化合作：Azure 一键部署 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure Model Catalog 的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分5252 Hugging Face Transformers 推出 KV Cache 量化功能
Hugging Face 在 Transformers 中推出 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，对生成质量影响较小。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：Google 开源视觉语言模型 PaliGemma 的架构、三种权重类型与微调路径都在文中给出，可据此判断它适合哪些下游任务。
Hugging Face BlogAI 评分3838 Hugging Face 与 LangChain 联合推出 langchain-huggingface 合作包
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装，将 Hugging Face 最新能力同步进 LangChain 生态。
Hugging Face BlogAI 评分2424 Hugging Face 推出 Open Arabic LLM Leaderboard，评估阿拉伯语大模型
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和对比阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增两类可基于历史观察迭代的智能体，并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体，排名第 4，成为开源类别领先者。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face BlogAI 评分2222 Hugging Face 支持用 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，订阅入口在 AWS Marketplace，定价与 Hugging Face 公开定价一致，但账单由 AWS 账户结算。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，嵌入模型跑在 Granite Rapids CPU 上，LLM 跑在 Gaudi 2 上。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评估。模型经 HuggingFace Inference Endpoints 部署，由 lighteval 库通过 API 请求完成评测。
Hugging Face BlogAI 评分3636 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 开发的 LLM Performance Leaderboard 现已上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，综合评估质量、价格与速度。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API 端点。
Hugging Face BlogAI 评分3838 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%，且模型排名也随之改变。为此 Hugging Face 与 .txt 合作，尝试用结构化生成库 Outlines 约束模型输出，以降低提示词格式带来的评测方差。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：首个完全透明且宽松许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐的代码 LLM，训练流程完全透明且宽松许可。
推荐理由：StarCoder2-15B-Instruct 用完全自对齐流程达到 72.6 HumanEval，读者可据此了解不依赖 GPT-4 蒸馏的代码模型训练路径。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，采用 Classic 与 Reflect 两种提示策略生成推理链，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分4242 Hugging Face 开源通用智能体 JAT：一个 Transformer 玩转 Atari、机器人控制与导航
Hugging Face 发布通用智能体项目 Jack of All Trades（JAT），基于 GPT-Neo 的 Transformer 架构，用单一网络在 Atari 57。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器与 8K 上下文带来的变化。
Hugging Face BlogAI 评分3232 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 团队将基于全同态加密（FHE）的 Concrete ML 预编译模型部署到 Hugging Face Endpoints，用户可通过自定义 inference handler 一键部署并运行加密推理。
Hugging Face BlogAI 评分2222 Ryght 借助 Hugging Face 专家支持打造医疗与生命科学生成式 AI 平台
Ryght 正式公开发布面向生命科学知识工作者的免费安全平台 Ryght Preview，用于加速药物研发、临床试验与商业化中的数据分析。
Hugging Face BlogAI 评分2222 用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
Hugging Face BlogAI 评分3838 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过“随时间滚动”评估窗口检测并防止数据污染。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可，已集成进 Transformers。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，可据此判断社区多模态微调的门槛变化。
Hugging Face BlogAI 评分3838 Hugging Face 详解视觉语言模型：架构、开源模型与微调方法
Hugging Face 发布视觉语言模型入门指南，梳理其核心架构由图像编码器、嵌入投影器和文本解码器组成，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型。文章还介绍了 Vision Arena、Open VLM Leaderboard 等评测榜单及 MMMU、MMBench 等基准，并演示如何用新版 trl 微调这类模型。
Hugging Face BlogAI 评分4040 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 上线 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个基础模型通过 Vertex AI 或 GKE 部署到用户自己的 Google Cloud 账号，并作为 API Endpoint 运行。