微软 AI 发布面向语音智能体的转写与语音合成模型
微软 AI 发布实时转写模型 MAI-Transcribe-2-Streaming,支持 60 种语言,首个部分结果延迟略超 100 毫秒,微软称其在 Artificial Analysis 准确率排名第一,年底前音频价格为每小时 0.54 美元。
微软 AI 发布实时转写模型 MAI-Transcribe-2-Streaming,支持 60 种语言,首个部分结果延迟略超 100 毫秒,微软称其在 Artificial Analysis 准确率排名第一,年底前音频价格为每小时 0.54 美元。
Napster 联合创始人 Sean Parker 正把 Stability AI 重塑为面向音乐专业人士的 AI 工具厂商。两年前他参与了 Stability AI 的 8000 万美元救助,如今与出任 CEO 的 Prem Akkaraju 一同公布新方向。
AI 音乐生成器 Suno 新增 Speech 功能,可将口播文本与匹配的背景音乐合成为一条音轨,用户输入想法或文本并描述想要的音色和音乐风格,模型同时生成人声与配乐。
Suno 上线 Speech 功能并开启公开测试,可在网页和移动端根据脚本或提示词生成语音,并同时生成配套背景音乐,单条最长约 8 分钟。该功能提供 Simple 和 Advanced 两种模式,Advanced 可自定义脚本并调整 AI 声音性别、语音风格和生成多样性,背景音乐可用开关关闭。Suno 承认功能尚不完善,将根据用户反馈持续改进。
微软发布三款自研语音 AI 模型:实时转录模型 MAI-Transcribe-2-Streaming,以及文本转语音模型 MAI-Voice-2.1 和低延迟版 MAI-Voice-2.1-Flash。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时音视频对话能力、97 种语言切换与企业定制入口,可据此判断多模态智能体的落地形态。
Google 发布 gemini-3.8-flash-tts 和 gemini-3.8-flash-lite-tts 两款文本转语音模型,提供超过 2000 种音色,并支持用 30 秒音频样本创建自定义音色。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与逐行表演控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:两款 TTS 模型给出语音克隆、逐行表演控制与多语言覆盖的具体能力,可据此判断语音生成工作流的变化。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,前者面向规模化与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:两款语音对话模型同时发布,给出语音智能体在实时推理与工具调用上的能力边界和开放入口。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言榜单上的首个印度语言。
Hugging Face 发布研究,用共识分歧、掩码实体检索和拼写切换三项探针量化语音识别中的基准优化现象,评测了 11 个开源 ASR 模型。
推荐理由:通过三项探针量化语音模型对基准的过拟合,并给出可复用的检测脚本与榜单入口。
Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并同步完成诊断推理。
推荐理由:Google 用 300 场随机对照视频问诊给出 AMIE 视频版与真人医生同级的评测结果,可了解多智能体异步架构如何兼顾对话延迟与临床推理。
NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多种既有语言的质量。
推荐理由:原文给出 364M 开源权重模型的多语言覆盖与 TTFA 实测数据,可据此判断自建语音链路的延迟与部署方式。
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5,并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升,包括更丰富自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表达和发音更准确的人声,以及更易控制输出节奏与时长。
Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
推荐理由:Hume 公开了语音 AI 人类质量评测基准的规模与关键发现,读者可据此理解现有基准为何高估真实表现。
Hugging Face 与 Cerebras 合作展示了一套实时语音到语音的开源流水线,用 Cerebras 加速 Gemma 4 31B 的推理。该架构为级联式模块化设计,依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 文本转语音,各层均可替换。
推荐理由:原文给出了一套可替换的实时语音到语音开源架构,读者可据此了解各层组件如何组合并复用到自己的项目。
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard,覆盖 14 个模拟房间,并设有 Lab Measured 与 Lab Simulated 的 sim-to-real 验证轨道。
Hugging Face 让 Reachy Mini 机器人实现完全本地语音对话,无需云端和 API key。
Hugging Face 联合 Appen Inc. 与 DataoceanAI 为 Open ASR Leaderboard 引入一批私有高质量英语 ASR 数据集,覆盖多口音的朗读与对话语音,以防止 benchmaxxing 和测试集污染。
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究,让对话式诊断 AI AMIE 在门诊初级保健就诊前为患者采集病史,由医生通过视频实时监督。
推荐理由:Google 与 BIDMC 首次把 AMIE 放进真实门诊流程做前瞻性可行性研究,读者可看到安全监督机制与盲评结果。
Google Research 发布 WAXAL,一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音,以及超过 565 小时用于 TTS 的高保真录音,由非洲高校与社区组织主导采集,覆盖 26 个以上国家、超过 1 亿使用者。
推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,可了解低资源语音数据的采集方法与许可条件。
Google 发布 MedGemma 1.5 4B,新增对 CT、MRI 和全切片病理等高维医学影像的支持,并同步推出医疗听写语音识别模型 MedASR。
推荐理由:官方给出 MedGemma 1.5 与 MedASR 的基准对比和开放下载入口,可据此判断医疗多模态模型的可用边界。
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark(MSEB),用于标准化评估声音嵌入模型的 8 类听觉能力,涵盖检索、推理、分类、转录、分割、聚类、重排序与重建。