跳到正文

#端侧

今日 0 条
10月2日周五
  1. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 版本,双机可集群扩展至 128GB 内存

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 DGX Spark 64GB 统一内存版本,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。

    推荐理由:原文给出 64GB 版本的售价、上市时间与双机集群的实测加速比,可据此判断本地跑大模型的成本与扩展方式。

9月24日周四
  1. Hugging Face Blog40

    Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,为 LFM2.5-VL-3B 加速视觉语言推理

    Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,解码最高提速 3.13x(端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。该草稿模型约 280M 参数,仅使部署模型参数量增加 8.9%,并首日支持 llama.cpp、MLX-VLM 和 SGLang。

9月22日周二
  1. Hugging Face Blog38

    oMLX 作者 Jun Kim 加入 Hugging Face,支持 MLX 社区

    oMLX 作者兼维护者 Jun Kim 加入 Hugging Face,全职投入 MLX 社区建设。oMLX 将保持 Apache 2.0 开源,由 Jun 继续领导,从副业转为有资金支持的长期项目,目标是提升稳定性并加快开发。Hugging Face 希望 oMLX 成为新想法的试验场,并推动 transformers 模型定义更快落地为可供各引擎使用的 MLX 参考实现。

8月12日周三
  1. Google DeepMind72

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,可将手语直接翻译为流式文本,首个支持场景为美国手语(ASL)转英文。该模型基于超过 50 种手语、逾 10 万小时数据训练,其中约四分之一为 ASL 数据,在 FLEURS-ASL(sd-test)上取得 70 BLEURT 的零样本成绩。

    推荐理由:官方披露了 SL2T 的训练规模、手语翻译难点与端侧隐私方案,可了解手语 AI 从实验室走向消费产品的路径。

7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 联合 Google DeepMind 提出 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料来自五百万名同意参与者、超过一万亿分钟的多模态信号,覆盖 100 多个国家、50 个美国州和 20 多种 Fitbit 与 Pixel Watch 设备。

    推荐理由:Google 用五百万人的万亿分钟可穿戴数据训练通用生理表征,读者可了解其自监督缺失感知设计与跨任务泛化表现。

7月8日周三
  1. Mistral AI66

    Mistral AI 发布具身导航模型 Robostral Navigate

    Mistral AI 发布首个具身导航模型 Robostral Navigate,这是一个 8B 模型,仅用单个普通 RGB 相机、无需 LiDAR 或深度传感器,在 R2R-CE validation unseen 上达到 76.6% 成功率,比最佳单相机方案高 9.7 个百分点、比使用深度或多相机的最佳系统高 4.5 个百分点。

    推荐理由:官方给出单目 RGB 相机在 R2R-CE 上的成绩与训练方法,可据此判断具身导航对传感器配置的要求。

6月27日周六
6月23日周二
6月9日周二
6月5日周五
6月2日周二
5月28日周四
  1. Google Research34

    Google 推出零信任聚合的隐私分析方案

    Google 为隐私分析服务提出零信任聚合方案,将新型单次消息加密聚合协议与 TEE 结合,使设备无需多轮在线交互即可提交数据。该设计保证 Google 只能获得群体的匿名聚合洞察,原始数据即使在硬件保护范围内也不会被暴露或重建,未加密数据仅在聚合匿名化后的最终阶段于设备外处理。

4月23日周四
4月3日周五
4月2日周四
3月5日周四
  1. Hugging Face Blog34

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,涵盖机器人数据集录制、VLA 策略微调(ACT 与 SmolVLA)以及端侧优化。NXP 以"把茶包放进杯子"任务为例,用 3 个摄像头(顶部、夹爪、左侧)录制 120 个 episode,并指出异步推理需让端到端延迟短于动作执行时长。指南还介绍了 NXP i.MX 95 SoC 优化后的实时性能表现。

2月9日周一
1月23日周五
  1. Google Research31

    Google 小模型拆解式意图提取:Gemini 1.5 Flash 8B 媲美 Gemini 1.5 Pro

    Google Research 提出一种拆解式方法,让小型多模态 LLM 在设备端理解用户意图:先逐屏总结每次交互,再从摘要序列中提取意图。在移动端与网页轨迹上,该方法优于 CoT 和端到端微调,Gemini 1.5 Flash 8B 取得与 Gemini 1.5 Pro 相当的结果,成本与速度仅为后者一小部分。该论文已在 EMNLP 2025 发表。

1月16日周五
  1. Google Research34

    Google 研究:用 Pixel Watch 智能手表估算步态指标,精度媲美手机

    Google 研究团队提出一种基于时序卷积网络(TCN)的多头深度学习模型,仅凭单只 Pixel Watch 的 IMU 信号和用户身高,即可直接估算步速、步长、双支撑时间等多项步态指标。在 246 名参与者、约 7 万段步行数据的验证中,手表估算与手机结果无显著差异(p>0.05),多数指标 Pearson r>0.80、ICC>0.80。

12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列模型,含 675B 参数的 Mistral Large 3

    Mistral 发布 Mistral 3 系列,包括 14B、8B、3B 三个小尺寸稠密模型和迄今最强的 Mistral Large 3,后者为稀疏 MoE 架构,41B 激活参数、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性开源从 3B 到 675B 的完整模型族,读者可据此了解开源模型在参数规模与部署形态上的最新覆盖范围。

11月20日周四
11月19日周三
10月30日周四
  1. Google Research62

    Google 提出可证明隐私洞察 PPI,用 LLM 与差分隐私分析 AI 使用数据

    Google Research 提出可证明隐私洞察(PPI),结合大语言模型、差分隐私(DP)和可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析非结构化 GenAI 数据。

    推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部核验的隐私分析流程,读者可了解端侧 AI 数据如何在不暴露个体数据的前提下被统计。

10月28日周二
10月15日周三
10月11日周六
10月2日周四
9月29日周一
9月26日周五
9月4日周四
  1. Hugging Face Blog60

    Google 发布 EmbeddingGemma 高效多语言嵌入模型

    Google 发布 EmbeddingGemma,一款面向端侧场景的多语言嵌入模型,参数量 308M,上下文窗口 2K,支持 100 多种语言,量化后内存占用低于 200MB。

    推荐理由:308M 参数、2K 上下文、支持 100 多种语言,可据此判断端侧 RAG 与多语言检索的落地空间。

8月21日周四
  1. Hugging Face Blog60

    NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2

    NVIDIA 发布 Nemotron Post-Training Dataset V2,将此前英文推理数据翻译为法语、德语、意大利语、日语和西班牙语五种语言,共 600 万多语言推理样本。

    推荐理由:NVIDIA 公开了多语言推理数据集的构建流程与筛选比例,读者可据此了解后训练数据的翻译与幻觉控制方法。

8月13日周三
  1. Hugging Face Blog60

    Arm 与 ExecuTorch 0.7 默认启用 KleidiAI,让旧款 Arm 设备也能跑生成式 AI

    Arm 与 ExecuTorch 0.7 beta 将默认启用 KleidiAI,为基于最新 Arm CPU 架构以及大量旧款手机的设备带来自动加速,Android 与跨平台开发者无需改代码即可通过 ExecuTorch 和 XNNPack 获得优化。

    推荐理由:Arm 与 ExecuTorch 团队说明了 KleidiAI 默认启用后,旧款 Arm 设备也能跑起端侧 LLM 的路径与实测数据。

8月12日周二
6月26日周四
6月3日周二
5月23日周五
5月15日周四
  1. Hugging Face Blog62

    Falcon-Edge 发布 1B 与 3B 三值量化语言模型系列

    Falcon-Edge 系列发布,基于 BitNet 架构,提供 1B 和 3B 两种规模,每种规模都有 base 与指令微调版本,权重以三值格式({-1, 0, 1})提供。

    推荐理由:Falcon-Edge 用一次预训练同时产出 bfloat16 与三值量化版本,并给出可直接微调的权重与工具包,读者可据此判断 1.58bit 模型的落地路径。

3月17日周一
1月30日周四