跳到正文

#Hugging Face

今日 2 条
12月18日周四
12月17日周三
12月16日周二
12月11日周四
  1. Hugging Face Blog62

    llama.cpp server 新增 router 模式,支持动态加载与切换多个模型

    llama.cpp server 新增 router 模式,无需重启即可动态加载、卸载和切换多个模型,实现类似 Ollama 的模型管理。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;模型按需加载,超过 --models-max(默认 4)时按 LRU 策略卸载最久未用的模型。

    推荐理由:llama.cpp server 新增 router 模式,读者可据此了解本地多模型热切换与显存回收的具体做法。

12月5日周五
  1. Hugging Face Blog40

    Hugging Face 发布 swift-huggingface:完整的 Swift 客户端

    Hugging Face 推出 swift-huggingface,一个面向 Hub 的完整 Swift 客户端包,可独立使用,后续将并入 swift-transformers 替换现有 HubApi。它提供完整 Hub API 覆盖、断点续传与进度追踪、与 Python 兼容的共享缓存,以及 TokenProvider 认证和 OAuth 2.0 支持,基于分块去重的 Xet 存储后端即将上线。

12月4日周四
12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性开源从 3B 到 675B 的完整模型族,读者可据此了解开源模型在参数规模与部署形态上的最新覆盖范围。

12月1日周一
11月25日周二
  1. Hugging Face Blog22

    从第一性原理理解 continuous batching

    Hugging Face 发布博客,从 attention 机制与 KV caching 出发,通过优化吞吐量推导出 continuous batching。该方法通过并行处理多个对话、完成即换出,来提升高负载场景下的推理性能。文中指出 attention 是 token 间唯一交互之处,其计算量随序列长度呈平方增长。

11月21日周五
11月20日周四
11月19日周三
11月17日周一
11月14日周五
11月13日周四
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 长文分析全球算力格局如何向中国倾斜

    Hugging Face 发布长文分析全球 AI 算力格局的变化,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。

    推荐理由:梳理美国出口管制与中国国产芯片、开源模型之间的因果链,并给出从硬件到软件栈的替代进展时间线。

10月28日周二
  1. Hugging Face Blog40

    Hugging Face 提出“语音同意门”:让声音克隆必须先获得本人同意

    Hugging Face 提出“语音同意门”机制,让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆。该方案用语言模型为每次授权生成一对全新句子,一句表达明确同意并包含模型名,另一句提供语音多样性,从而支持可追溯、可审计的授权流程。官方同时发布了示例 Space 和配套代码。

10月27日周一
  1. Hugging Face Blog62

    Hugging Face 改进 datasets 流式加载,请求数减少 100 倍

    Hugging Face 改进 datasets 库的流式加载,load_dataset(streaming=True) 接口保持不变,启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多提升 2 倍。

    推荐理由:官方给出流式加载的请求数、解析时间和吞吐变化,读者可据此判断大规模训练的数据管线是否值得切换。

  2. Hugging Face Blog62

    Hugging Face 发布 huggingface_hub v1.0,改用 httpx 并重做 hf CLI

    Hugging Face 发布 huggingface_hub v1.0,这是该库五年来的首个大版本,带来破坏性变更。主要变化包括后端从 requests 迁移到 httpx、全新的 hf CLI 取代已弃用的 huggingface-cli、文件传输全面改用 hf_xet 替代 hf_transfer。

    推荐理由:官方梳理了五年演进与 v1.0 的破坏性变更,读者可据此判断升级成本与迁移路径。

10月24日周五
10月23日周四
  1. Hugging Face Blog66

    Meta 与 Hugging Face 联合推出 OpenEnv Hub,发布 OpenEnv 0.1 规范草案

    Meta 与 Hugging Face 合作推出 OpenEnv Hub,一个面向智能体环境的开放共享社区平台,环境可用于训练和部署。下周起开发者可在 Hugging Face 上访问该 Hub,以人类智能体身份直接与环境交互、让模型在环境中解题,并查看环境暴露的工具和观测定义;符合 OpenEnv 规范的环境上传后自动获得这些功能。

    推荐理由:Meta 与 Hugging Face 联合推出智能体环境共享 Hub,并公开 0.1 规范草案,读者可据此了解智能体训练与部署环境的标准化路径。

10月22日周三
10月21日周二
10月17日周五
10月16日周四
10月15日周三
10月7日周二
  1. Hugging Face Blog48

    BigCodeArena:通过代码执行端到端评判代码生成

    Hugging Face 推出 BigCodeArena,这是首个通过实际执行来评估代码生成模型的人类参与平台,支持 10 种语言和 8 种执行环境,可实时运行模型生成的代码并投票。平台自 2025 年 2 月上线以来已收集超 14,000 段对话、4,700+ 条偏好投票,覆盖 10 个前沿 LLM,o3-mini 与 o1-mini 在 Elo 排名中稳居第一梯队。

10月2日周四
10月1日周三
  1. Hugging Face Blog40

    Hugging Face 推出 RTEB:面向真实场景的检索嵌入基准测试

    Hugging Face 发布 Retrieval Embedding Benchmark(RTEB)beta 版,用公开与私有数据集混合的方式评估嵌入模型的真实检索泛化能力。该基准覆盖 20 种语言,聚焦法律、医疗、代码、金融等企业领域,默认榜单指标为 NDCG@10,私有数据集由 MTEB 维护者评测,部分模型在私有集上出现明显性能下滑。

9月29日周一