跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–7 条 · 共 7 条
10月1日周四
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展至开发者、企业和消费者。

    推荐理由:官方给出 Argon 在编码、企业知识与网络安全防御上的基准表现和分阶段开放路径,可据此判断前沿模型的能力边界与落地节奏。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 两部分组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并排序数千种化合物以推动肿瘤细胞状态转变,最高排名化合物在湿实验中产生了最大的预期转变,整个筛选到候选验证过程仅用一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Latent Space76

    AMD 以 82 亿美元收购 World Labs,Atlas 模型解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在反思博客中提到,公司自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。其近期发布的 Atlas 是一种全模态模型架构,从 2D 图像输入预测新视角,在稀疏重建这一计算机视觉长期难题上超过专用模型,可用于机器人强化学习环境、场景生成和现实世界重建。

    推荐理由:AMD 以 82 亿美元收购 World Labs,读者可了解其空间智能与 Atlas 模型在机器人仿真等方向的能力积累。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时音视频对话能力、97 种语言切换与企业定制入口,可据此判断多模态智能体的落地形态。

8月12日周三
  1. Google Research72

    Google 推出 AMIE (Video),实时视频问诊达到专家级水平

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并同步完成诊断推理。

    推荐理由:Google 用 300 场随机对照视频问诊给出 AMIE 视频版与真人医生同级的评测结果,可了解多智能体异步架构如何兼顾对话延迟与临床推理。

7月23日周四