跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

110条精选相关主题论文研究部署工程模型发布

最新精选

第 21–40 条 · 共 110 条
6月17日周三
5月23日周六
  1. Mistral AI60

    Mistral 收购 Physics AI 公司 Emmi AI

    Mistral AI 本周签署最终协议,收购奥地利 Physics AI 公司 Emmi AI,以强化其面向工业企业的 AI 转型服务能力。Emmi AI 专注物理 AI 与大型工程模型,可将多日计算替换为实时仿真并构建数字孪生,其 30 多名研究人员和工程师将于 5 月加入 Mistral 的 Science 与 Applied AI 团队。

    推荐理由:Mistral 通过收购补齐物理仿真与工业数据能力,读者可了解其面向工程场景的 AI 布局方向。

5月20日周三
  1. Google Research78

    Google 发布 ERA 科研工具并开放 Computational Discovery

    Google 发布 Empirical Research Assistance(ERA),一个用 Gemini 编写和优化科学代码的研究工具,相关论文今日发表于 Nature,并开始通过 Gemini for Science 向全球科学家开放。

    推荐理由:Google 公开 ERA 在 Nature 的评测结果与八篇应用论文,读者可据此判断 AI 写科学代码的实际边界。

4月30日周四
4月29日周三
  1. Hugging Face Blog62

    Granite 4.1 LLM 是如何构建的:IBM 公开五阶段预训练与多阶段 RL 细节

    IBM Granite 团队公开了 Granite 4.1 系列稠密 LLM(3B、8B、30B)的完整训练流程,模型在约 15T token 上从零训练,采用五阶段预训练管线,上下文窗口最终扩展至 512K token。

    推荐理由:Granite 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月22日周三
3月31日周二
  1. Hugging Face Blog62

    Hugging Face 发布 TRL v1.0 后训练库

    Hugging Face 发布 TRL v1.0,将其从研究代码库转为带明确稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。稳定核心遵循语义化版本,覆盖 SFT、DPO、Reward modeling、RLOO 和 GRPO 等训练器;实验层不承诺兼容,新方法先在此落地。从最后一个 0.x 版本迁移改动很小,官方提供了迁移指南。

    推荐理由:官方说明 TRL v1.0 的稳定与实验分层设计,读者可据此判断后训练库的选型与迁移成本。

3月21日周六
  1. Hugging Face Blog62

    NVIDIA 发布一天内构建领域专用嵌入模型的完整教程

    NVIDIA 发布教程,介绍用单张 GPU 在不到一天内把通用嵌入模型微调为领域专用模型,全程无需人工标注。流程基于 NeMo Data Designer 生成合成问答对、用难负样本挖掘做对比学习,微调 Llama-Nemotron-Embed-1B-v2,在 NVIDIA 公开文档数据集上 Recall@10 与 NDCG@10 提升超过 10%。

    推荐理由:NVIDIA 公开了从合成数据生成到 NIM 部署的完整嵌入模型微调流程,并给出可复现的评测数字。

3月18日周三
  1. Mistral AI62

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段,并同时支持稠密与 MoE 架构及多模态输入。

    推荐理由:原文给出企业用自有数据训练前沿模型的分阶段训练路径与智能体落地方式,可据此判断企业自建模型的可行边界。

3月17日周二
  1. Mistral AI60

    Mistral AI 与 NVIDIA 合作,共同开发开源前沿模型

    Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron Coalition,双方计划共同开发前沿开源 AI 模型,Mistral 提供模型架构、多模态能力和微调工具,NVIDIA 提供算力、模型开发工具与合成数据生成管线。

    推荐理由:Mistral 以创始成员身份加入 NVIDIA Nemotron Coalition,读者可了解开放前沿模型的联合训练分工与开源计划。

3月12日周四
  1. Google Research62

    Google 推出 Groundsource,用 Gemini 将新闻报道转为灾害数据

    Google Research 推出 Groundsource,用 Gemini 从新闻报道中抽取结构化灾害事件数据,首个开放数据集收录 260 万条城市山洪记录,覆盖 150 多个国家、时间跨度从 2000 年至今。

    推荐理由:Google 用 Gemini 从 80 种语言的新闻中抽取洪水事件,其人工核验准确率与覆盖范围可供评估 LLM 做数据抽取的可行性。

3月10日周二
3月9日周一
3月7日周六
  1. Google Research60

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的开放语音数据集

    Google Research 发布 WAXAL,一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音,以及超过 565 小时用于 TTS 的高保真录音,由非洲高校与社区组织主导采集,覆盖 26 个以上国家、超过 1 亿使用者。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,可了解低资源语音数据的采集方法与许可条件。

3月5日周四
2月26日周四
2月20日周五
12月5日周五