Google 发布 Gemma 2 开源大模型，含 9B 与 27B 两个版本
Google 发布 Gemma 2 系列开源大模型，包含 9B 和 27B 两个尺寸，各有基础版与指令微调版共 4 个开放权重模型，上下文长度 8K token。
推荐理由：文章梳理了 Gemma 2 的滑动窗口注意力、软上限与知识蒸馏等训练改动，并给出与 Llama 3、Qwen 1.5 的基准对比。
#开源生态
#开源生态
今日 4 条Hugging Face Blog精选AI 评分7878
Hugging Face BlogAI 评分3434 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度训练
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face Blog精选AI 评分7272 Diffusers 接入 Stable Diffusion 3 Medium，含显存优化与 LoRA 微调脚本
Stability AI 的 Stable Diffusion 3 Medium（2B 参数）已上线 Hugging Face Hub 并支持 Diffusers 调用，官方同时提供了模型、Diffusers 集成以及 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由：官方给出 SD3 Medium 在 Diffusers 中的接入方式、显存优化与微调脚本，可直接对照复现。
Hugging Face BlogAI 评分1818 Hugging Face 将重新设计 Transformers 文档
Hugging Face 宣布重新设计 Transformers 文档，原因是现有文档内容零散、导航困难且过时。新版将面向构建 AI 产品的开发者，采用代码优先、解决方案导向的写法，并放弃 Diátaxis 的刚性结构，改为随内容自然生长的有机结构，让新增内容与原有文档融合而非层层叠加。
Hugging Face BlogAI 评分5050 Artificial Analysis 发布文生图排行榜与竞技场
Artificial Analysis 推出文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
Mistral AI精选AI 评分6262 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上线模型定制功能，提供三种微调入口：面向自建基础设施的开源微调代码库 mistral-finetune、平台上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 给出微调的三条落地路径与 LoRA 效率对比，读者可据此判断自建还是托管微调更合适。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速。
Mistral AI精选AI 评分7272 Mistral AI 发布首个代码模型 Codestral，22B 开放权重
Mistral AI 发布首个代码模型 Codestral，22B 开放权重，支持 80+ 编程语言，上下文窗口 32k，并通过 fill-in-the-middle 机制补全代码。
推荐理由：Codestral 以 22B 开放权重和 32k 上下文切入代码补全，读者可据此判断它在延迟与长仓库补全上的取舍。
Mistral AI精选AI 评分6262 Mistral AI 发布非生产许可 MNPL，Codestral 率先采用
Mistral AI 推出非生产许可 MNPL，允许开发者将技术用于非商业用途并支持研究工作，要求基于其成果开展商业业务的一方以公平可持续的方式合作。Codestral 于同日在该许可下发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码，并逐步整合 Apache 2.0 与 MNPL 两条产品线。
推荐理由：Mistral 推出 MNPL 非生产许可，读者可了解其如何在开放原则与商业可持续之间划界。
Hugging Face BlogAI 评分2626 Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并评测吞吐量与延迟，帮助用户按需调优 LLM 部署。该工具随 TGI 一同安装，需在服务器端运行，通过 CLI 交互式执行，并提供预填充吞吐量与延迟散点图等可视化结果。
Hugging Face BlogAI 评分3434 如何用 Sentence Transformers 训练和微调嵌入模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2：11B 参数预训练语言模型与 VLM，训练数据超 5000B tokens、支持 11 种语言
TII 发布 Falcon 2 系列，包含 11B 基础语言模型和具备图像理解能力的 11B VLM，训练数据超过 5000B tokens，主要支持英语并覆盖西班牙语、法语、德语等另外十种语言。
推荐理由：TII 官方给出 Falcon 2 的训练数据、架构与评测对比，可据此判断 11B 小模型在多语言和视觉理解上的位置。
Hugging Face BlogAI 评分4242 Hugging Face 支持从 Hub 部署模型到 AWS Inferentia2
Hugging Face 宣布可在 AWS Inferentia2 上部署 Hub 中超过 100,000 个公开模型，新增 14 种模型架构和 6 类机器学习任务，并支持在 Amazon SageMaker 上使用。
Hugging Face BlogAI 评分2222 Hugging Face Spaces 推出 Dev Mode，可一键连接 VS Code 或 SSH
Hugging Face Spaces 发布 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试，满意后再 commit 和 merge 保存改动。
Hugging Face BlogAI 评分4040 Hugging Face 与 Dell 推出 Dell Enterprise Hub，支持本地训练和部署开源模型
Hugging Face 与 Dell 联合发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分4242 Hugging Face 在 AMD Instinct MI300 GPU 上的支持与优化
Hugging Face 宣布 AMD Instinct MI300 已在 Hugging Face 平台获得一等公民级集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face BlogAI 评分4242 Hugging Face 与微软深化合作：Azure 一键部署 Llama 3、Mistral 7B 等开源模型
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure Model Catalog 的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face BlogAI 评分5252 Hugging Face Transformers 推出 KV Cache 量化功能
Hugging Face 在 Transformers 中推出 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，对生成质量影响较小。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：Google 开源视觉语言模型 PaliGemma 的架构、三种权重类型与微调路径都在文中给出，可据此判断它适合哪些下游任务。
Hugging Face BlogAI 评分3838 Hugging Face 与 LangChain 联合推出 langchain-huggingface 合作包
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装，将 Hugging Face 最新能力同步进 LangChain 生态。
Hugging Face BlogAI 评分2424 Hugging Face 推出 Open Arabic LLM Leaderboard，评估阿拉伯语大模型
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和对比阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face Blog精选AI 评分7171 Hugging Face 发布 Transformers Agents 2.0
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增两类可基于历史观察迭代的智能体，并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体，排名第 4，成为开源类别领先者。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face BlogAI 评分2222 Hugging Face 支持用 AWS 账户订阅 Enterprise Hub
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，订阅入口在 AWS Marketplace，定价与 Hugging Face 公开定价一致，但账单由 AWS 账户结算。
Hugging Face BlogAI 评分2222 用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，嵌入模型跑在 Granite Rapids CPU 上，LLM 跑在 Gaudi 2 上。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评估。模型经 HuggingFace Inference Endpoints 部署，由 lighteval 库通过 API 请求完成评测。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API 端点。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：首个完全透明且宽松许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐的代码 LLM，训练流程完全透明且宽松许可。
推荐理由：StarCoder2-15B-Instruct 用完全自对齐流程达到 72.6 HumanEval，读者可据此了解不依赖 GPT-4 蒸馏的代码模型训练路径。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器与 8K 上下文带来的变化。
Mistral AI精选AI 评分8282 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布最新开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅激活 39B，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本与能力定位。
Hugging Face BlogAI 评分2222 Ryght 借助 Hugging Face 专家支持打造医疗与生命科学生成式 AI 平台
Ryght 正式公开发布面向生命科学知识工作者的免费安全平台 Ryght Preview，用于加速药物研发、临床试验与商业化中的数据分析。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可，已集成进 Transformers。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，可据此判断社区多模态微调的门槛变化。
Hugging Face BlogAI 评分3838 Hugging Face 详解视觉语言模型：架构、开源模型与微调方法
Hugging Face 发布视觉语言模型入门指南，梳理其核心架构由图像编码器、嵌入投影器和文本解码器组成，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型。文章还介绍了 Vision Arena、Open VLM Leaderboard 等评测榜单及 MMMU、MMBench 等基准，并演示如何用新版 trl 微调这类模型。
Hugging Face BlogAI 评分4040 Hugging Face 与 Google Cloud 合作：数千个开源 LLM 上线 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个基础模型通过 Vertex AI 或 GKE 部署到用户自己的 Google Cloud 账号，并作为 API Endpoint 运行。
Hugging Face Blog精选AI 评分6262 Google 发布代码专用模型 CodeGemma，含 2B 与 7B 三个版本
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 继续训练，额外使用 5000 亿 token 的英文、数学和代码数据，共三个版本：2B 基础模型专注代码填充，7B 基础模型混合代码填充与自然语言，7B Instruct 面向代码对话。
推荐理由：Google 开源代码专用模型 CodeGemma 的三个版本与 Hugging Face 生态集成细节，可据此判断代码补全场景的选型。
Hugging Face BlogAI 评分3838 Hugging Face 与 Wiz Research 合作提升 AI 安全
Hugging Face 宣布与云安全公司 Wiz 合作提升平台及 AI/ML 生态安全，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台的安全缺陷，相关问题已全部修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具自动修复 Spaces 等产品中的问题。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 实现 SetFit 极速推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
Hugging Face BlogAI 评分4242 Hugging Face 与 Cloudflare Workers AI 集成：无服务器 GPU 推理上线
Hugging Face Hub 上线 "Deploy on Cloudflare Workers AI" 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，由 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 驱动，按请求计费、无需自管 GPU。
Hugging Face BlogAI 评分2222 Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释这一开源 Python 库、Hub 与 Spaces 的基本概念。教程以在 Hugging Face Space 的 JupyterLab notebook 中运行微软 Phi-2 LLM 为例，需租用 24GB 显存的 NVIDIA A10G GPU，每小时仅需几美元。
Hugging Face Blog精选AI 评分6262 Cosmopedia：如何为 LLM 预训练构建大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超过 3000 万个文件、250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词构建到去污染、训练的完整合成数据流水线，可对照 Phi 系列的做法理解预训练数据如何规模化生成。