Mistral AI 推出非生产许可 MNPL，允许开发者将技术用于非商业用途并支持研究工作，要求基于其成果开展商业业务的一方以公平可持续的方式合作。Codestral 于同日在该许可下发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码，并逐步整合 Apache 2.0 与 MNPL 两条产品线。
推荐理由：Mistral 推出 MNPL 非生产许可，读者可了解其如何在开放原则与商业可持续之间划界。
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并评测吞吐量与延迟，帮助用户按需调优 LLM 部署。该工具随 TGI 一同安装，需在服务器端运行，通过 CLI 交互式执行，并提供预填充吞吐量与延迟散点图等可视化结果。
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现，也可从零训练新模型。
TII 发布 Falcon 2 系列，包含 11B 基础语言模型和具备图像理解能力的 11B VLM，训练数据超过 5000B tokens，主要支持英语并覆盖西班牙语、法语、德语等另外十种语言。
推荐理由：TII 官方给出 Falcon 2 的训练数据、架构与评测对比，可据此判断 11B 小模型在多语言和视觉理解上的位置。
Hugging Face 宣布可在 AWS Inferentia2 上部署 Hub 中超过 100,000 个公开模型，新增 14 种模型架构和 6 类机器学习任务，并支持在 Amazon SageMaker 上使用。
Hugging Face Spaces 发布 Dev Mode，支持一键从 VS Code 或 SSH 直连 Space 编辑代码，无需再用 git 推送本地改动。该功能目前处于 beta 阶段，仅面向 PRO 订阅用户开放，可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试，满意后再 commit 和 merge 保存改动。
Hugging Face 与 Dell 联合发布 Dell Enterprise Hub，可在 Dell 平台上本地训练和部署开源模型，将原本数周的工程工作缩短至几分钟。
Hugging Face 宣布 AMD Instinct MI300 已在 Hugging Face 平台获得一等公民级集成，用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作，将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure Model Catalog 的 Hugging Face Collection，支持从 Azure AI Studio 一键部署。
Hugging Face 在 Transformers 中推出 KV Cache 量化功能，通过降低 KV 缓存精度减少长上下文生成的内存占用，对生成质量影响较小。
Google 发布视觉语言模型系列 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：Google 开源视觉语言模型 PaliGemma 的架构、三种权重类型与微调路径都在文中给出，可据此判断它适合哪些下游任务。
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface，可通过 pip install langchain-huggingface 安装，将 Hugging Face 最新能力同步进 LangChain 生态。
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和对比阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face 发布 Transformers Agents 2.0，在原有智能体类型之外新增两类可基于历史观察迭代的智能体，并加入共享功能。官方称新框架下 Llama-3-70B-Instruct 智能体在 GAIA 榜单上超过多个基于 GPT-4 的智能体，排名第 4，成为开源类别领先者。
推荐理由：官方给出新智能体框架的模块划分与 GAIA 榜单成绩，可据此判断开源智能体方案的可用性。
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub，订阅入口在 AWS Marketplace，定价与 Hugging Face 公开定价一致，但账单由 AWS 账户结算。
Intel 展示了基于 OPEA 平台、用 Intel Gaudi 2 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，嵌入模型跑在 Granite Rapids CPU 上，LLM 跑在 Gaudi 2 上。
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评估。模型经 HuggingFace Inference Endpoints 部署，由 lighteval 库通过 API 请求完成评测。
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API 端点。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐的代码 LLM，训练流程完全透明且宽松许可。
推荐理由：StarCoder2-15B-Instruct 用完全自对齐流程达到 72.6 HumanEval，读者可据此了解不依赖 GPT-4 蒸馏的代码模型训练路径。
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 的医学与生物学子集。
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器与 8K 上下文带来的变化。
Mistral 发布最新开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅激活 39B，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：官方给出 Mixtral 8x22B 的激活参数、上下文窗口与多语言、数学编码基准表现，可据此判断其成本与能力定位。
Ryght 正式公开发布面向生命科学知识工作者的免费安全平台 Ryght Preview，用于加速药物研发、临床试验与商业化中的数据分析。
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可，已集成进 Transformers。
推荐理由：8B 参数、Apache 2.0 许可并同步开源指令微调数据集，可据此判断社区多模态微调的门槛变化。
Hugging Face 发布视觉语言模型入门指南，梳理其核心架构由图像编码器、嵌入投影器和文本解码器组成，并盘点 LLaVA 1.6、CogVLM、Qwen-VL、Yi-VL-34B 等开源模型。文章还介绍了 Vision Arena、Open VLM Leaderboard 等评测榜单及 MMMU、MMBench 等基准，并演示如何用新版 trl 微调这类模型。
Hugging Face 推出 Deploy on Google Cloud 集成，可将数千个基础模型通过 Vertex AI 或 GKE 部署到用户自己的 Google Cloud 账号，并作为 API Endpoint 运行。
Google 发布代码专用开源模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 继续训练，额外使用 5000 亿 token 的英文、数学和代码数据，共三个版本：2B 基础模型专注代码填充，7B 基础模型混合代码填充与自然语言，7B Instruct 面向代码对话。
推荐理由：Google 开源代码专用模型 CodeGemma 的三个版本与 Hugging Face 生态集成细节，可据此判断代码补全场景的选型。
Hugging Face 宣布与云安全公司 Wiz 合作提升平台及 AI/ML 生态安全，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台的安全缺陷，相关问题已全部修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具自动修复 Spaces 等产品中的问题。
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化（PTQ），可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
Hugging Face Hub 上线 "Deploy on Cloudflare Workers AI" 集成，让开发者以无服务器 API 方式调用 Llama、Gemma、Mistral 等热门开源模型，由 Cloudflare 边缘数据中心的 GPU 和 Text Generation Inference 驱动，按请求计费、无需自管 GPU。
Hugging Face 发布面向非技术读者的 Transformers 入门指南，从零解释这一开源 Python 库、Hub 与 Spaces 的基本概念。教程以在 Hugging Face Space 的 JupyterLab notebook 中运行微软 Phi-2 LLM 为例，需租用 24GB 显存的 NVIDIA A10G GPU，每小时仅需几美元。
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超过 3000 万个文件、250 亿 token，目标是复现 Phi-1.5 的训练数据。
推荐理由：Hugging Face 公开了从提示词构建到去污染、训练的完整合成数据流水线，可对照 Phi 系列的做法理解预训练数据如何规模化生成。
Hugging Face 与 Intel 合作，通过 Optimum Intel 中的 OpenVINO 集成对微软 Phi-2 模型权重做 4-bit 量化，并在搭载 Core Ultra 7 155H 的中端笔记本上完成推理。
Hugging Face 发布博客介绍 GaLore 优化器，可将优化器状态内存占用降低超过 82.5%，让 70 亿参数模型（如 Llama 架构）在 NVIDIA RTX 4090 等消费级 GPU 上训练。
推荐理由：原文给出 GaLore 与 8-bit 优化器结合的完整用法和可运行代码，读者可据此在消费级显卡上复现大模型训练。
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重以及 int8、float8 激活，可在 CUDA 和 MPS 等任意设备上运行。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可一键调用 NVIDIA H100 GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，仅需几行代码即可完成端到端的预处理与后处理。
BigCode 发布 StarCoder2，这是新一代透明训练的开放代码大语言模型，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出三个尺寸的代码模型与配套数据集，读者可据此了解开源代码模型当前的规模与训练数据构成。
Hugging Face 发文梳理 AI 生成内容的水印方案，区分生成时嵌入与生成后添加两类方法，并盘点 Hub 上的相关工具。文中提到 Glaze、Photoguard 可微调图像干扰 AI 处理，Nightshade、Fawkes 则通过"投毒"破坏训练假设；Truepic 按 C2PA 标准嵌入元数据，IMATAG 采用水印器与检测器闭源、调用代码开源的混合模式。
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。教程以 LoRA 为例，结合 QLoRA 的 4-bit 量化，在 GPU 和 Cloud TPU 上以低显存成本完成微调，并使用 Abirate/english_quotes 数据集演示训练流程。