Hugging Face 发布 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 推出 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
#语音
#语音
今日 0 条Hugging Face BlogAI 评分3636
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.8 Live with Live Avatar
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成，实现带口型同步、自然表情和流畅轮次的视觉化对话。
推荐理由：官方给出 Live Avatar 的实时音视频对话能力、97 种语言切换与企业定制入口，可据此判断多模态智能体的落地形态。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与逐行表演控制，后者面向高并发、低成本的配音与语音智能体场景。
推荐理由：两款 TTS 模型给出语音克隆、逐行表演控制与多语言覆盖的具体能力，可据此判断语音生成工作流的变化。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型，前者面向规模化与成本效率，后者面向高复杂度任务与多步推理。
推荐理由：两款语音对话模型同时发布，给出语音智能体在实时推理与工具调用上的能力边界和开放入口。
Hugging Face BlogAI 评分5252 Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个印度语言。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文字模型，可将原始音频直接转为准确、格式化文本。据 Artificial Analysis 测量，流式场景平均 WER 为 4.0%，非流式 2.6%；相比此前的 Chirp 3，最终转写时间改善 70%。
推荐理由：官方给出流式与非流式两套 API 的 WER 数据和相对 Chirp 3 的延迟提升，便于判断语音转写能否接入现有工作流。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧、掩码实体检索和拼写切换三项探针量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三项探针量化语音模型对基准的过拟合，并给出可复用的检测脚本与榜单入口。
Google Research精选AI 评分7272 Google 推出 AMIE (Video)，实时视频问诊达到专家级水平
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 实现实时视频临床问诊，可感知非语言线索、引导虚拟体格检查并同步完成诊断推理。
推荐理由：Google 用 300 场随机对照视频问诊给出 AMIE 视频版与真人医生同级的评测结果，可了解多智能体异步架构如何兼顾对话延迟与临床推理。
Hugging Face Blog精选AI 评分6262 NVIDIA 发布 Magpie TTS 多语言开源权重模型，新增阿拉伯语、韩语和巴西葡萄牙语
NVIDIA 发布 Magpie TTS Multilingual，一个 364M 参数的开源权重语音合成模型，支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并通过更新训练数据提升了多种既有语言的质量。
推荐理由：原文给出 364M 开源权重模型的多语言覆盖与 TTFA 实测数据，可据此判断自建语音链路的延迟与部署方式。
Google DeepMindAI 评分5858 Google DeepMind 在 Google Flow Music 发布 Lyria 3.5 音乐生成模型
Google DeepMind 发布新一代音乐生成模型 Lyria 3.5，并在 Google Flow Music 中上线。官方称其在音乐性、歌词、人声和创作控制四方面均有提升，包括更丰富自然的旋律结构、提示词遵循与结构感知更好的歌词、更具情感表达和发音更准确的人声，以及更易控制输出节奏与时长。
Hugging Face Blog精选AI 评分6262 Hume 发布 Real World VoiceEQ 语音 AI 人类质量评测基准
Hume 发布 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
推荐理由：Hume 公开了语音 AI 人类质量评测基准的规模与关键发现，读者可据此理解现有基准为何高估真实表现。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 合作展示了一套实时语音到语音的开源流水线，用 Cerebras 加速 Gemma 4 31B 的推理。该架构为级联式模块化设计，依次经过 Nvidia Parakeet 语音识别、Cerebras 上的 Gemma 4 VLM 推理和阿里 Qwen3TTS 文本转语音，各层均可替换。
推荐理由：原文给出了一套可替换的实时语音到语音开源架构，读者可据此了解各层组件如何组合并复用到自己的项目。
Hugging Face BlogAI 评分3636 Hugging Face 与 Treble Technologies 推出 FFASR 远场 ASR 排行榜
Hugging Face 与 Treble Technologies 发布首个开放、社区驱动的远场 ASR 基准 FFASR Leaderboard，覆盖 14 个模拟房间，并设有 Lab Measured 与 Lab Simulated 的 sim-to-real 验证轨道。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Google DeepMind 发布 Gemini 3.5 Live Translate，这是一款支持 70+ 语言的近实时语音到语音翻译音频模型，能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由：官方给出 70+ 语言实时语音翻译的连续生成机制与多端上线节奏，可据此判断实时翻译的可用形态。
Hugging Face BlogAI 评分4848 Reachy Mini 实现完全本地运行：Hugging Face 开源语音对话栈
Hugging Face 让 Reachy Mini 机器人实现完全本地语音对话，无需云端和 API key。
Hugging Face BlogAI 评分3636 Hugging Face 为 Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 联合 Appen Inc. 与 DataoceanAI 为 Open ASR Leaderboard 引入一批私有高质量英语 ASR 数据集，覆盖多口音的朗读与对话语音，以防止 benchmaxxing 和测试集污染。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 在医生监督下作为护理团队成员与患者交互。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，优于两款医生常用 AI；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和关键体格检查上整体仍更优。
推荐理由：DeepMind 公开 AI co-clinician 研究计划，给出医生端与患者端两类评测结果，可了解医疗 AI 当前能力边界。
Hugging Face Blog精选AI 评分7878 NVIDIA 发布 Nemotron 3 Nano Omni 全模态模型
NVIDIA 发布 Nemotron 3 Nano Omni，一款面向文档分析、多图推理、语音识别、长音视频理解与智能体电脑操作的全模态理解模型，在 MMlongbench-Doc、OCRBenchV2、WorldSense、DailyOmni、VoiceBench 等榜单上取得领先成绩。
推荐理由：原文给出架构、训练配方与多榜成绩，可据此判断开源全模态模型在文档、音视频与智能体场景的可用性。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布 Gemini 3.1 Flash TTS，一款主打可控性与表现力的文本转语音模型，已在 Gemini API 和 Google AI Studio 面向开发者预览，企业版在 Vertex AI 预览，Workspace 用户可通过 Google Vids 使用。
推荐理由：官方给出音频标签控制方式、Elo 分数与多语言覆盖，可据此判断语音生成的可控性变化。
Google DeepMind精选AI 评分7777 Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型
Google DeepMind 发布 Gemini 3.1 Flash Live，称其为目前质量最高的音频与语音模型，精度更高、延迟更低，已通过 Gemini Live API 在 Google AI Studio 预览，并接入 Gemini Enterprise for Customer Experience、Search Live 和 Gemini Live。
推荐理由：官方给出语音模型的延迟、推理基准与多语言覆盖变化，可据此判断语音智能体的可用边界。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 Lyria 3 Pro 音乐生成模型
Google DeepMind 发布 Lyria 3 Pro，可生成最长 3 分钟的曲目，并能按前奏、主歌、副歌、桥段等结构元素进行提示控制。
推荐理由：官方披露 Lyria 3 Pro 的时长与结构控制能力，以及它在 Vertex AI、Gemini 等入口的开放范围。
Hugging Face BlogAI 评分4242 Hugging Face 推出语音智能体评估框架 EVA
Hugging Face 发布端到端语音智能体评估框架 EVA，首次同时打分任务成功率（EVA-A）与对话体验（EVA-X），并开源含 50 个航司场景的数据集。对 20 个级联与音频原生系统的基准测试显示，准确率与体验之间存在一致的权衡：任务完成得好的智能体，用户体验往往更差。
Mistral AI精选AI 评分6969 Mistral AI 发布 Voxtral TTS 语音合成模型
Mistral AI 发布首款文本转语音模型 Voxtral TTS，参数规模 4B，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，可生成带情感表达的语音并支持零样本跨语言音色适配。
推荐理由：Mistral 首款 TTS 模型给出 4B 参数、9 种语言与 70ms 延迟等具体指标，并公开了与 ElevenLabs 的人工对比结果。
Google Research精选AI 评分6666 Google 与 BIDMC 开展对话式诊断 AI 真实临床可行性研究
Google Research 与 Beth Israel Deaconess Medical Center 合作开展了一项前瞻性单中心可行性研究，让对话式诊断 AI AMIE 在门诊初级保健就诊前为患者采集病史，由医生通过视频实时监督。
推荐理由：Google 与 BIDMC 首次把 AMIE 放进真实门诊流程做前瞻性可行性研究，读者可看到安全监督机制与盲评结果。
Google Research精选AI 评分6060 Google Research 发布 WAXAL：覆盖 27 种非洲语言的开放语音数据集
Google Research 发布 WAXAL，一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集，采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音，以及超过 565 小时用于 TTS 的高保真录音，由非洲高校与社区组织主导采集，覆盖 26 个以上国家、超过 1 亿使用者。
推荐理由：Google Research 联合非洲高校发布 27 种语言的开放语音数据集，可了解低资源语音数据的采集方法与许可条件。
Mistral AI精选AI 评分7272 Mistral 发布 Voxtral Transcribe 2 语音转写模型家族
Mistral AI 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime，支持说话人分离、上下文偏置和词级时间戳，覆盖 13 种语言。
推荐理由：官方给出两款语音转写模型的延迟、价格与开源许可，读者可据此判断实时转写的成本与部署边界。
Google Research精选AI 评分6060 Google 发布 MedGemma 1.5 4B 与医疗语音识别模型 MedASR
Google 发布 MedGemma 1.5 4B，新增对 CT、MRI 和全切片病理等高维医学影像的支持，并同步推出医疗听写语音识别模型 MedASR。
推荐理由：官方给出 MedGemma 1.5 与 MedASR 的基准对比和开放下载入口，可据此判断医疗多模态模型的可用边界。
Google DeepMind精选AI 评分7171 Google 升级 Gemini 2.5 Flash Native Audio 语音模型
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio，面向实时语音智能体，改进函数调用、指令遵循与多轮对话能力。
推荐理由：官方给出函数调用、指令遵循与多轮对话三项改进的具体分数，可据此判断语音智能体的可用性提升。
Google ResearchAI 评分2727 Google 发布 MSEB 音频智能基准，覆盖 8 类听觉任务
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评估声音嵌入模型的 8 类听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排序与重建。
Hugging Face BlogAI 评分3030 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布基于 60+ 模型的 ASR 趋势预印本。
Google Research精选AI 评分7171 Google 发布端到端实时语音翻译模型，延迟降至 2 秒
Google Research 介绍了一个端到端语音到语音翻译（S2ST）模型，可在原说话人音色下实时翻译，延迟仅 2 秒，而现有级联方案通常有 4–5 秒延迟并会累积误差。
推荐理由：Google 端到端语音翻译把延迟压到 2 秒并保留原说话人音色，可对照级联方案的误差累积问题。
Hugging Face BlogAI 评分4040 Hugging Face 提出“语音同意门”：让声音克隆必须先获得本人同意
Hugging Face 提出“语音同意门”机制，让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆。该方案用语言模型为每次授权生成一对全新句子，一句表达明确同意并包含模型名，另一句提供语音多样性，从而支持可追溯、可审计的授权流程。官方同时发布了示例 Space 和配套代码。
Mistral AI精选AI 评分6666 Mistral 为 Le Chat 推出 Deep Research、语音模式等多项新功能
Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由：Mistral 一次性为 Le Chat 补齐深度研究、语音、推理与图像编辑能力，可据此判断其产品线走向。
Mistral AI精选AI 评分7878 Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源
Mistral AI 发布 Voxtral 语音理解模型，提供 24B 和 3B 两种尺寸，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟音频转写或 40 分钟音频理解，具备原生多语言、音频问答与摘要、语音触发函数调用等能力，API 定价为每分钟 $0.001。
推荐理由：Mistral 开源语音理解模型，给出两种尺寸、Apache 2.0 许可与 API 定价，读者可据此评估自部署与调用成本。
Hugging Face BlogAI 评分2424 Arm CPU 上用 Stable Audio Open 实现实时 AI 音效生成
Arm 工程师 Michael Gamble 基于 Stability AI 的 Stable Audio Open 模型，在 Arm CPU 上构建了一款完全本地运行的音效生成应用，无需 GPU 和云端推理，几秒内即可根据提示词生成 .wav 文件并直接导入 Ableton Live。
Hugging Face BlogAI 评分4040 Hugging Face 在 Inference Endpoints 上推出极速 Whisper 转录部署
Hugging Face 在 Inference Endpoints 上线新版 OpenAI Whisper 部署方案，基于 vLLM 实现，性能较此前版本最高提升 8 倍，转录质量无损。
Hugging Face BlogAI 评分4444 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 评测数据集，用于评估音频语言模型的推理能力，该数据集将 Big Bench Hard 的 1000 道题改编为音频形式。
Hugging Face BlogAI 评分3535 Hugging Face 如何在 Inference Endpoints 上部署 Speech-to-Speech
Hugging Face 发布 Speech-to-Speech（S2S）项目，通过 VAD、STT、语言模型和 TTS 组成的级联流水线实现语音对话，支持英语、法语、西班牙语、中文、日语和韩语，可单语言运行或用 auto 标志自动检测语言。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face 发布自定义推理 handler 方案，在 Inference Endpoints 上把 Whisper 语音识别、Pyannote 说话人分离与推测解码整合进单一 API 端点。
Hugging Face BlogAI 评分5858 Hugging Face 发布 TTS Arena，用众包投票评测语音合成模型
Hugging Face 发布 TTS Arena，借鉴 LMSys 的 Chatbot Arena，让用户输入文本后对比两个 TTS 模型的合成语音并投票选出更自然的一方，结果汇入公开排行榜。