如何在 AWS 上部署和微调 DeepSeek R1 模型
Hugging Face 发布指南，介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型，覆盖 Hugging Face Inference Endpoints、Amazon Bedrock Marketplace、SageMaker AI 的 LLM DLC 以及 EC2 Neuron 等路径。
#开源生态
#开源生态
今日 0 条Hugging Face BlogAI 评分5252
Hugging Face Blog精选AI 评分6262 Hugging Face Hub 上线 Inference Providers，接入 fal、Replicate、SambaNova、Together AI
Hugging Face 在 Hub 模型页上线 Inference Providers，首批接入 fal、Replicate、SambaNova、Together AI 四家无服务器推理服务商，并集成到 JS 和 Python 客户端 SDK。
推荐理由：官方说明 Hub 模型页接入四家无服务器推理服务商，并给出 SDK 与路由代理的调用方式，便于判断接入成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 启动 Open-R1 项目，完整复现 DeepSeek-R1
Hugging Face 发起 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 的三步计划，读者可了解开源推理模型训练链路上仍缺哪些环节。
Hugging Face BlogAI 评分4848 Diffusers 中的开源视频生成模型现状
Hugging Face 发文梳理开源视频生成模型现状，CogVideoX、Mochi-1、Hunyuan Video、Allegro、LTX Video 均已开放，而 Sora、Veo 2、Gen 3 Alpha、Kling、Pika 2.0、MiniMax 仍为闭源。文章指出开源模型受限于高算力成本、泛化能力不足和生成延迟，Diffusers 团队正从推理优化与微调两方面推进其规模化采用。
Hugging Face Blog精选AI 评分6262 smolagents 新增视觉支持，可在智能体流程中原生使用 VLM
Hugging Face 为 smolagents 加入视觉支持，可在智能体流程中原生使用视觉语言模型。图像既可在 run 方法中一次性传入并存入 TaskStep 的 task_images，也可通过 step_callbacks 回调在每步把截图写入 ActionStep 的 observation_images。
推荐理由：官方给出两种向智能体传入图像的方式和回调写法，可直接迁移到浏览器自动化等视觉场景。
Hugging Face BlogAI 评分3838 NVIDIA KVPress 如何压缩 KV Cache 实现长上下文 LLM
NVIDIA 推出 Python 工具包 KVPress，通过多种压缩算法降低长上下文 LLM 的 KV Cache 内存占用。以 Llama 3-70B 在 bfloat16 下处理 1M token 为例，KV Cache 需 327.6GB，占约 470GB 总内存的 70%。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SmolVLM-256M 与 SmolVLM-500M 两个小尺寸视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，含两个 base 模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX，并提供 transformers 与 WebGPU 演示。
推荐理由：官方披露了从 2B 缩到 256M 与 500M 的取舍细节，可看到小模型在视觉编码器和 tokenization 上的具体权衡。
Hugging Face BlogAI 评分2222 Hugging Face 与 FriendliAI 合作，在 Hub 上集成 FriendliAI Endpoints 部署选项
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮，实现开源或自定义生成式 AI 模型的一键部署。
Hugging Face BlogAI 评分5757 Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Hugging Face 为 Text Generation Inference（TGI）引入多后端架构，通过统一的 Rust 前端层接入 vLLM、llama.cpp、TensorRT-LLM 等推理引擎，用户可按模型、硬件和性能需求切换后端。
Hugging Face Blog精选AI 评分6262 Hugging Face 用 Sentence Transformers 训练快 400 倍的静态嵌入模型
Hugging Face 发布方法，用 Sentence Transformers 训练静态嵌入模型，在 CPU 上比主流嵌入模型快 100 到 400 倍，同时保留大部分质量。
推荐理由：原文公开了静态嵌入模型的完整训练配方与两个已发布模型，读者可据此在 CPU 端复现高效嵌入方案。
Mistral AI精选AI 评分6262 Mistral AI 发布 Codestral 25.01 编码模型
Mistral AI 发布 Codestral 25.01，采用更高效的架构和改进的分词器，生成与补全代码速度约为原版 Codestral 的 2 倍，支持 256k 上下文。
推荐理由：Codestral 25.01 的架构与分词器升级带来约 2 倍生成速度，并给出与同量级编码模型的基准对比。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 smolagents：用代码编写动作的简单智能体库
Hugging Face 发布 smolagents，一个让语言模型具备智能体能力的轻量库，核心是 CodeAgent，即用代码而非 JSON 编写动作的智能体，同时保留写 JSON 的 ToolCallingAgent。
推荐理由：官方给出 CodeAgent 的定位与代码示例，读者可据此判断代码式动作与 JSON 工具调用的差异。
Hugging Face BlogAI 评分3838 用 NVIDIA LogitsProcessorZoo 控制语言模型生成
NVIDIA 的 LogitsProcessorZoo 是一套模块化 logits 处理器，可控制序列长度、强制关键短语或引导多选题答案，并与 Hugging Face 的 generate 方法完全兼容。
Hugging Face Blog精选AI 评分7171 Answer.AI 与 LightOn 发布 ModernBERT，为 BERT 提供替代方案
Answer.AI 与 LightOn 联合发布 ModernBERT，这是一系列编码器模型，作为 BERT 类模型的直接替换方案，提供 base（149M 参数）和 large（395M 参数）两个版本。
推荐理由：ModernBERT 把近年 LLM 的架构与训练经验移植回编码器，读者可据此判断 BERT 类模型在检索与分类场景的替换空间。
Hugging Face BlogAI 评分5858 IBM 联合普林斯顿等发布 Bamba-9B 混合 Mamba2 模型
IBM 联合普林斯顿、CMU 和 UIUC 发布 Bamba-9B，一个基于完全开放数据训练的混合 Mamba2 模型，训练数据量 2.2T tokens。在 vLLM 中，该模型相比标准 Transformer 实现 2.5 倍吞吐提升和 2 倍延迟加速，并已支持 transformers、vLLM、TRL 和 llama.cpp。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon3 开源模型家族，含 1B 至 10B 五款基础模型
阿布扎比技术创新研究院（TII）发布 Falcon3 开源模型家族，包含 Falcon3-1B-Base、3B-Base、Mamba-7B-Base、7B-Base 和 10B-Base 五款基础模型，全部在 100 亿参数以下。
推荐理由：Falcon3 家族覆盖 1B 到 10B 五款模型，给出了训练数据规模与基准对比，可据此判断小尺寸开源模型的选型空间。
Hugging Face BlogAI 评分5858 Hugging Face 推出 Synthetic Data Generator，用自然语言构建数据集
Hugging Face 发布 Synthetic Data Generator，一个无代码应用，用户用自然语言描述需求即可生成自定义数据集。工具目前支持文本分类和聊天两类数据集，背后由 distilabel 和免费的 Hugging Face text-generation API 驱动，文本分类和聊天分别约为每分钟 50 和 20 个样本。
Hugging Face BlogAI 评分2828 Hugging Face 模型上架 Amazon Bedrock Marketplace
Hugging Face 的开源模型现已通过 Amazon Bedrock Marketplace 提供，AWS 客户可部署 83 个开源模型构建生成式 AI 应用。
Hugging Face BlogAI 评分5858 Google 发布 PaliGemma 2 视觉语言模型，提供 3B/10B/28B 三种规格
Google 发布新一代视觉语言模型 PaliGemma 2，沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2，提供 3B、10B、28B 三种参数规格，均支持 224x224、448x448、896x896 三种输入分辨率，而上一代 PaliGemma 仅有 3B 版本。
Hugging Face BlogAI 评分2727 LLM 修复自身错误的能力如何？基于 Keras 与 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，让多个 LLM 同时处理同一段日历 API 调用对话，测试它们在用户用自然语言指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio Spaces 界面并行对话。
Hugging Face BlogAI 评分2929 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式评测基准与榜单
Hugging Face 发布 AraGen，一个面向阿拉伯语 LLM 的生成式任务基准与榜单，采用新的 3C3H 评测指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。榜单采用动态评测策略，数据集与评测代码先盲测三个月再公开，随后更换新私有基准，以缓解数据污染。该基准同时覆盖多轮与单轮场景，是这一语言无关评测框架的首次应用。
Hugging Face BlogAI 评分4040 Hugging Face 开源开发者 EU AI Act 合规指南
Hugging Face 发布开源开发者 EU AI Act 合规指南，梳理该法规对开源 AI 模型与系统的适用范围。仅通用目的 AI（GPAI）模型被直接监管，训练算力超 10^25 FLOPs 者构成系统性风险；有限风险系统须向用户披露其正在与 AI 交互。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM：2B 视觉语言模型，显存占用为同类最低
Hugging Face 发布 SmolVLM，一个 2B 参数的小型视觉语言模型家族，包含 Base、Synthetic 和 Instruct 三个版本，模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由：官方给出 2B 视觉语言模型的显存占用、吞吐与基准对比，可据此判断端侧多模态部署的可行边界。
Hugging Face BlogAI 评分2828 Hugging Face 重构 Hub 上传与下载架构
Hugging Face 的 Xet 团队正在重新设计 Hub 的上传与下载架构，计划引入内容寻址存储（CAS）作为内容分发第一站，并基于"读简单、写智能"理念构建自定义协议。新架构在字节级别分析文件，对 tensor 文件（如 Safetensors）的压缩探索有望将上传速度提升 10-25%。CAS 节点将部署在 AWS 少数区域，以覆盖北美、欧洲和亚洲的主要上传流量。
Hugging Face BlogAI 评分2222 如何一步步推导出 SOTA 位置编码 RoPE
Hugging Face 博客通过逐步改进位置编码方案，最终推导出 Llama 3.2 及多数现代 Transformer 使用的 RoPE（旋转位置编码）。文章以 Llama 3.2 1B 为例演示：不加位置信息时，多头自注意力对同一 token 在不同位置的输出完全相同。作者提出位置编码应满足唯一性、线性关系、长度泛化、确定性生成和可扩展至多维等五项理想属性。
Hugging Face BlogAI 评分2828 Hugging Face 与 LLM-jp 联合推出日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译到代码生成与数学推理，均以 4-shot 方式运行。该榜单整合超 20 个数据集，由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整，旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face BlogAI 评分3131 Hugging Face 详解 LayerSkip 自推测解码：用 transformers 加速文本生成
Hugging Face 发布博客详解 LayerSkip 提出的自推测解码，用同一 LLM 的早期层生成 draft token、深层网络负责验证，无需额外小模型即可加速文本生成并降低显存占用。
Mistral AI精选AI 评分7575 Mistral AI 发布 124B 开源多模态模型 Pixtral Large
Mistral AI 发布 Pixtral Large，一个基于 Mistral Large 2 的 124B 开放权重多模态模型，含 123B 多模态解码器和 1B 参数视觉编码器，支持 128K 上下文窗口，可容纳至少 30 张高分辨率图像。
推荐理由：原文给出 Pixtral Large 的基准成绩与开放权重许可，读者可据此判断开源多模态模型与闭源前沿模型的差距。
Hugging Face BlogAI 评分2222 在 Hugging Face Hub 上分享你的开放机器学习数据集
Hugging Face Hub 支持托管 TB 级数据集，并提供 Dataset Viewer、全文搜索、SQL Console 及 Pandas、DuckDB 等第三方库的一行代码加载支持。Xet 团队正将单文件上限从 50 GB 提升至 500 GB，同时改进存储与传输效率。数据集可设为公开、私有或门控访问，Nvidia、Google、NASA 等机构已在使用该平台。
Hugging Face BlogAI 评分3838 Hugging Face 集成进 PyCharm：右键即可插入 HF 模型
Hugging Face 与 PyCharm 的集成现已上线，开发者可在代码中右键选择 "Insert HF Model"，按 image-text-to-text 等任务筛选模型并直接插入示例代码，例如 microsoft/Phi-3.5-vision-instruct。
Hugging Face BlogAI 评分3636 Argilla 2.4 发布：无需代码，在 Hugging Face Hub 上轻松构建微调与评测数据集
Argilla 2.4 推出无需代码的数据集构建功能，用户可直接从 Hugging Face Hub 导入数据集并在 Argilla UI 中定义问题、收集人工反馈。该功能支持公开数据集导入，默认启用 Hugging Face OAuth，方便社区或团队协作标注，适用于微调与评测数据集的构建。
Hugging Face Blog精选AI 评分6262 Cohere For AI 发布 Aya Expanse 8B 与 32B 多语言模型
Cohere For AI 发布 Aya Expanse 系列多语言模型，包含 8B 和 32B 两个参数版本，并以开放权重形式提供给研究社区。在成对比较中，Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B；Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由：Cohere For AI 公开了 Aya Expanse 的完整后训练流程，读者可了解多语言模型如何用数据套利、偏好训练与模型合并提升表现。
Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成 Transformers 里的可调用组件，读者可据此了解生成内容溯源的具体做法与边界。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 HUGS 生成式 AI 服务，零配置部署开源模型
Hugging Face 发布生成式 AI 服务 HUGS，提供零配置的优化推理微服务，基于 Text Generation Inference 和 Transformers，支持 NVIDIA、AMD GPU，AWS Inferentia 和 Google TPU 即将支持。
推荐理由：HUGS 把开源模型的推理部署从数周压缩到分钟级，并给出兼容 OpenAI API 的落地路径，可据此判断自托管开源模型的工程成本。
Hugging Face BlogAI 评分3838 Hugging Face 与 Protect AI 合作，用 Guardian 扫描模型安全
Hugging Face 宣布与 Protect AI 合作，将后者的 Guardian 扫描器集成进平台扫描套件，用于检测 pickle 等序列化格式中的任意代码执行等漏洞。所有公开模型仓库在推送文件后会自动被 Guardian 扫描，无需额外操作，目前平台已扫描数亿个文件。
Hugging Face BlogAI 评分4242 dottxt 与 Hugging Face 发布 outlines-core 0.1.0：Rust 重写结构化生成核心
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0，这是 outlines 结构化生成核心算法的 Rust 移植版，索引编译速度平均提升 2 倍。该库已集成进 outlines，Python 绑定 0.1.0 版本同步上线，其轻量化设计便于其他库直接引入结构化生成能力，Rust 实现还为 Python 之外的语言绑定提供了可能。
Hugging Face Blog精选AI 评分7575 Transformers.js v3 发布：支持 WebGPU、新量化格式与 120 个架构
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称比 WASM 快最多 100 倍，加载模型时设置 device: 'webgpu' 即可启用。
推荐理由：官方给出 WebGPU 加速、量化格式与 120 个架构支持的具体变化，可据此判断浏览器端推理的可用边界。
Hugging Face Blog精选AI 评分6767 Diffusers 支持 Stable Diffusion 3.5 Large，含 8B 模型与少步蒸馏版
Stability AI 的 Stable Diffusion 3.5 已在 Hugging Face Hub 发布并接入 Diffusers，包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型，后者支持 4-8 步少步推理。
推荐理由：官方给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练代码，可直接照此在消费级显卡上跑通。
Hugging Face BlogAI 评分2929 Keras 中的 Llama 3.2：从第一天起就可用
Llama 3.2 在 Hugging Face / Transformers 上线两周后，Keras 已从第一天起支持加载 Llama 3.2 checkpoint，包括 meta-llama/Llama-3.2-1B-Instruct，无需转换即可通过 keras_hub 的 Llama3CausalLM.from_preset 直接调用。
Hugging Face BlogAI 评分4040 Hugging Face 修复 transformers 梯度累积损失计算错误
Hugging Face 修复了 transformers Trainer 中梯度累积的损失计算错误：此前开启梯度累积与全批量训练的损失不一致，正确做法应为累积步内所有批次总损失除以全部非 padding token 数，而非各批次损失的平均值。