跳到正文

#数据/训练

今日 1 条
8月19日周三
  1. Hugging Face Blog62

    你的智能体到底需要多少记忆?ALTK-Evolve 在八款模型上的剂量实验

    IBM Research 在 Hugging Face 博客发布 ALTK-Evolve 的智能体记忆剂量研究,在 AppWorld 的 585 个多步任务上测试八款模型,发现记忆不是开关而是需要按模型校准的剂量。

    推荐理由:八模型横评给出智能体记忆的三种剂量模式,并附上 token 开销对比,可据此判断自家模型该给多少记忆。

8月14日周五
  1. Hugging Face Blog62

    Hugging Face 发布 2026 夏季开源模型生态观察报告

    Hugging Face 发布 2026 年 1 月至 8 月的开源模型生态观察报告,基于 Hub 上的下载、点赞与衍生模型数据。报告显示公开模型仓库从 243 万增至 296 万,数据集从 71.1 万增至 100 万,Spaces 从 100 万增至 144 万,但 85.6% 的模型终身下载量不足 200 次,1.5% 的仓库占据 99.2% 的下载量。

    推荐理由:Hugging Face 用平台下载、点赞与衍生模型数据,给出开源模型生态在规模、许可与采用上的半年变化。

8月13日周四
8月12日周三
  1. Google Research62

    Google Research 提出知识画像框架:召回而非编码是前沿 LLM 事实性的瓶颈

    Google Research 发布研究,提出知识画像框架,把事实状态分为编码失败、召回失败、直接召回、思考后召回和无编码推理五类,并构建含 2,150 条 Wikipedia 事实、每条配 10 个问题的 WikiProfile 基准。

    推荐理由:Google Research 用知识画像区分编码与召回失败,指出前沿模型的事实错误更多来自知识难以取用而非未存储。

  2. Microsoft Research42

    微软发布 CARE-X:面向临床放射学的统一胸部 X 光 VLM

    微软研究院推出 CARE-X,一个面向胸部 X 光多种临床解读任务的统一视觉语言模型,结合生成式与结构化预测,并用强化学习(DAPO)在多任务设置下奖励临床正确性。该模型支持报告生成、病灶有无与否定判断、异常定位、多标签分类及导管位置检测等任务,采用生成或双推理模式。另一项独立实验中,Qwen3-VL-4B-Instruct 搭配确定性测量工具,用于评估直接计算能否改善测量依赖型病症的表现。

8月11日周二
8月10日周一
  1. Hugging Face Blog44

    Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失,大幅降低 LLM 知识蒸馏成本

    Hugging Face 论文提出两项系统改动降低 LLM 知识蒸馏成本:离线缓存教师模型每位置的 top-100 logits,使教师无需与学生同时驻留显存;融合分块 KL 损失避免生成完整的词表×序列长度矩阵。以 gpt-oss-120b 为例,稠密 KL 峰值约 250GB,超过单张 H200 的 141GB,融合分块方案峰值约 128GB,使长上下文修复可在单 GPU 上完成。

7月31日周五
7月30日周四
  1. Hugging Face Blog22

    GPU 管理:为什么闲置 GPU 是新的停飞飞机

    Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非智能本身。GPU 按日历小时计费,产出却只按计算小时累积,两家 GPU 预算相当的公司会因利用率差异而拉开差距。企业自购 GPU 本地部署可把按 token 线性增长的 API 成本换成固定资本支出,但集群上线后的问题变成如何让它们保持忙碌。

7月26日周日
  1. Berkeley AI Research30

    Berkeley AI Research 提出 ABBEL:用信念状态监督让 LLM 高效完成长程交互

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以缓解递归摘要带来的性能损失。在 CollabBench 协作编程任务中,基于重建的信念评分(rec-BG)将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也低于全上下文设置。

7月22日周三
7月16日周四
7月10日周五
7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 联合 Google DeepMind 提出 SensorFM,一个直接从无标注可穿戴数据学习的大型传感器基础模型,预训练语料来自五百万名同意参与者、超过一万亿分钟的多模态信号,覆盖 100 多个国家、50 个美国州和 20 多种 Fitbit 与 Pixel Watch 设备。

    推荐理由:Google 用五百万人的万亿分钟可穿戴数据训练通用生理表征,读者可了解其自监督缺失感知设计与跨任务泛化表现。

7月7日周二
7月6日周一
  1. Hugging Face Blog28

    PRX Part 4:我们的数据策略

    PRX 系列第 4 篇披露其数据策略:预训练数据由公开与内部数据集混合组成,用 VLM 重新生成图像长描述,再转为可流式训练的语料。团队用 Lance 做数据构建与筛选、MDS 做流式训练,并将文本编码器从 T5Gemma 换成 Qwen3-VL、改为训练时实时计算文本 latent,实测吞吐仅损失约 3–4%(30 天训练约多花 1 天)。

7月1日周三
6月30日周二
  1. Google Research72

    Google 发布表格数据零样本基础模型 TabFM

    Google 发布面向表格数据分类与回归的基础模型 TabFM,将表格预测建模为上下文学习问题,无需手动训练、超参数调优和特征工程,单次前向传播即可对未见过的表格生成预测。

    推荐理由:Google 把零样本思路搬到表格数据,读者可了解其架构设计与在 TabArena 上的对比表现。

6月25日周四
  1. Hugging Face Blog62

    NVIDIA NeMo AutoModel 加速 Transformers MoE 微调

    NVIDIA 发布开源库 NeMo AutoModel,在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核,微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%,且只需改动一行 import。

    推荐理由:原文给出同一 from_pretrained() 接口下的吞吐与显存对比数据,读者可据此判断 MoE 微调的迁移成本。

6月19日周五
  1. Hugging Face Blog48

    Hugging Face 提出 MosaicLeaks:深度研究智能体能否守住秘密?

    Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅训练任务性能还会加剧泄露;其提出的 PA-DR 方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。

6月18日周四
6月17日周三
6月11日周四
6月3日周三
5月29日周五
5月27日周三
5月23日周六
  1. Mistral AI60

    Mistral 收购 Physics AI 公司 Emmi AI

    Mistral AI 本周签署最终协议,收购奥地利 Physics AI 公司 Emmi AI,以强化其面向工业企业的 AI 转型服务能力。Emmi AI 专注物理 AI 与大型工程模型,可将多日计算替换为实时仿真并构建数字孪生,其 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

    推荐理由:Mistral 通过收购补齐物理仿真与工业数据能力,读者可了解其面向工程场景的 AI 布局方向。

5月20日周三
  1. Google Research78

    Google 发布 ERA 科研工具并开放 Computational Discovery

    Google 发布 Empirical Research Assistance(ERA),一个用 Gemini 编写和优化科学代码的研究工具,相关论文今日发表于 Nature,并开始通过 Gemini for Science 向全球科学家开放。

    推荐理由:Google 公开 ERA 在 Nature 的评测结果与八篇应用论文,读者可据此判断 AI 写科学代码的实际边界。

5月19日周二
5月16日周六
  1. Google DeepMind34

    剑桥大学教授用 Google DeepMind Co-Scientist 寻找新发传染病的分子开关

    剑桥大学教授 Clare Bryant 使用 Google DeepMind 的 Co-Scientist 研究流感等病原体跨物种传播引发脓毒症的分子开关,该工具从她已发表的基金申请中生成并排序假说,并优先锁定了一个她此前未关注的蛋白质。加入未发表数据后,假说逐步细化到具体氨基酸,团队正构建含氨基酸突变的细胞系进行验证。Bryant 称,原本需两到三年的实验工作,如今有望在六个月内完成。

  2. Google DeepMind22

    Google DeepMind Co-Scientist 如何助力 Calico 衰老研究

    Calico Life Sciences 的 Matt Onsum 与 Katherine Labbé 正使用 Google DeepMind 的 Co-Scientist 整合衰老生物学中零散的研究发现并生成可验证假设。在整合应激反应(ISR)研究中,该工具帮助团队提出代谢调控 ISR 的新假设,并协助优化实验设计、随结果迭代输入新信息,相关实验已产生新发现,团队计划发表结果。