跳到正文

#数据/训练

今日 5 条
5月16日周六
  1. Google DeepMind50

    Google DeepMind Co-Scientist 助力发现肝纤维化再利用药物

    斯坦福大学医学院 Gary Peltz 团队用 Google DeepMind 的 Co-Scientist 筛选肝纤维化再利用药物,其提出的 3 个候选中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自己挑选的 2 个药物均无效。表现最突出的是抗癌药 vorinostat,阻断了 91% 可驱动肝疤痕的损伤反应。相关研究已发表于 Advanced Science。

5月15日周五
5月12日周二
5月2日周六
4月30日周四
4月29日周三
  1. Hugging Face Blog62

    Granite 4.1 LLM 是如何构建的:IBM 公开五阶段预训练与多阶段 RL 细节

    IBM Granite 团队公开了 Granite 4.1 系列稠密 LLM(3B、8B、30B)的完整训练流程,模型在约 15T token 上从零训练,采用五阶段预训练管线,上下文窗口最终扩展至 512K token。

    推荐理由:Granite 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月22日周三
4月21日周二
  1. Hugging Face Blog28

    QIMMA:Hugging Face 推出质量优先的阿拉伯语 LLM 排行榜

    Hugging Face 发布 QIMMA(阿拉伯语"顶峰"),一个先验证基准质量再评测模型的开源阿拉伯语 LLM 排行榜。QIMMA 整合 14 个来源基准的 109 个子集、超 52,000 条样本,覆盖文化、STEM、法律、医疗、安全、诗歌与编程 7 大领域,其中 99% 为原生阿拉伯语内容,并首次在阿拉伯语排行榜中引入代码评测。

4月16日周四
4月9日周四
4月8日周三
4月1日周三
3月31日周二
  1. Hugging Face Blog26

    OpenMed 用 165 美元训练跨 25 物种的 mRNA 语言模型

    OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线,其 CodonRoBERTa-large-v2 以困惑度 4.10、Spearman CAI 相关性 0.40 显著优于 ModernBERT。团队随后扩展到 25 个物种,用 55 GPU-hours 训练出 4 个生产模型,并搭建了目前其他开源项目尚未提供的物种条件化系统。

  2. Hugging Face Blog62

    Hugging Face 发布 TRL v1.0 后训练库

    Hugging Face 发布 TRL v1.0,将其从研究代码库转为带明确稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。稳定核心遵循语义化版本,覆盖 SFT、DPO、Reward modeling、RLOO 和 GRPO 等训练器;实验层不承诺兼容,新方法先在此落地。从最后一个 0.x 版本迁移改动很小,官方提供了迁移指南。

    推荐理由:官方说明 TRL v1.0 的稳定与实验分层设计,读者可据此判断后训练库的选型与迁移成本。

3月25日周三
3月21日周六
  1. Hugging Face Blog62

    NVIDIA 发布一天内构建领域专用嵌入模型的完整教程

    NVIDIA 发布教程,介绍用单张 GPU 在不到一天内把通用嵌入模型微调为领域专用模型,全程无需人工标注。流程基于 NeMo Data Designer 生成合成问答对、用难负样本挖掘做对比学习,微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据集上 Recall@10 与 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 公开了从合成数据生成到 NIM 部署的完整嵌入模型微调流程,并给出可复现的评测数字。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段,并同时支持稠密与 MoE 架构及多模态输入。

    推荐理由:原文给出企业用自有数据训练前沿模型的分阶段训练路径与智能体落地方式,可据此判断企业自建模型的可行边界。

3月17日周二
  1. Mistral AI60

    Mistral AI 与 NVIDIA 合作,共同开发开源前沿模型

    Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron Coalition,双方计划共同开发前沿开源 AI 模型,Mistral 提供模型架构、多模态能力和微调工具,NVIDIA 提供算力、模型开发工具与合成数据生成管线。

    推荐理由:Mistral 以创始成员身份加入 NVIDIA Nemotron Coalition,读者可了解开放前沿模型的联合训练分工与开源计划。

3月13日周五
3月12日周四
  1. Google Research62

    Google 推出 Groundsource,用 Gemini 将新闻报道转为灾害数据

    Google Research 推出 Groundsource,用 Gemini 从新闻报道中抽取结构化灾害事件数据,首个开放数据集收录 260 万条城市山洪记录,覆盖 150 多个国家、时间跨度从 2000 年至今。

    推荐理由:Google 用 Gemini 从 80 种语言的新闻中抽取洪水事件,其人工核验准确率与覆盖范围可供评估 LLM 做数据抽取的可行性。

3月10日周二
3月9日周一
3月7日周六
  1. Google Research60

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的开放语音数据集

    Google Research 发布 WAXAL,一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音,以及超过 565 小时用于 TTS 的高保真录音,由非洲高校与社区组织主导采集,覆盖 26 个以上国家、超过 1 亿使用者。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,可了解低资源语音数据的采集方法与许可条件。

3月5日周四
  1. Hugging Face Blog34

    如何在嵌入式平台部署机器人 AI:数据集录制、VLA 微调与端侧优化

    Hugging Face 博客发布 NXP 的嵌入式机器人 AI 实践指南,涵盖机器人数据集录制、VLA 策略微调(ACT 与 SmolVLA)以及端侧优化。NXP 以"把茶包放进杯子"任务为例,用 3 个摄像头(顶部、夹爪、左侧)录制 120 个 episode,并指出异步推理需让端到端延迟短于动作执行时长。指南还介绍了 NXP i.MX 95 SoC 优化后的实时性能表现。

  2. Google Research40

    Google 用贝叶斯教学让 LLM 学会概率推理

    Google Research 提出"贝叶斯教学",通过监督微调让 LLM 模仿贝叶斯助手的预测,从而学会概率推理。在五轮模拟航班推荐任务中,未经训练的 LLM 表现远逊于最优贝叶斯助手,且往往在单次交互后性能就停滞;而贝叶斯教学不仅提升了该任务表现,还能泛化到其他任务。

3月4日周三
  1. Hugging Face Blog44

    PRX Part 3:24 小时训练一个文本到图像扩散模型

    Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元算力预算在 24 小时内完成文本到图像扩散模型训练,并开源训练代码与实验框架。该方案采用 x-prediction 在像素空间直接训练、无需 VAE,并叠加 LPIPS 与 DINOv2 感知损失、TREAD token 路由、REPA 表征对齐和 Muon 优化器。

2月26日周四
2月20日周五
2月18日周三