跳到正文

#语音

今日 2 条
今天10月2日周五
  1. TechCrunch · AI55

    语音AI初创公司ElevenLabs估值翻倍至$22B

    语音AI初创公司ElevenLabs宣布以$22B估值向员工提供部分已归属股权的出售机会,较其在2月融资$500 million时的$11B估值翻倍。此次$300 million要约由Wellington和T. Rowe Price联合牵头,是该公司第二次为员工安排二级交易;ElevenLabs此前曾于September 2025以$6.6B估值进行$100 million要约。

9月30日周三
  1. Hugging Face Blog75

    Hugging Face 发布开放 TTS Leaderboard,评估多语言语音合成与语音克隆

    Hugging Face 发布 Open TTS Leaderboard,面向开源和多语言 TTS 模型,通过 WER、CER、RTFx、TTFA 和说话人相似度等指标进行评估。截至 Sep 30, 2026,Hugging Face Hub 上已有超过 8K 个 TTS 模型;榜单还提供试听投票、多语言切换、语音克隆和 H200 GPU、CPU 流式性能比较,后续将开源评测脚本。

    推荐理由:Hugging Face 将客观指标与试听投票结合,覆盖多语言、语音克隆和流式性能,为开放 TTS 模型提供了更可扩展的比较框架。

9月29日周二
  1. AWS Machine Learning Blog73

    AWS 在 SageMaker AI 上使用 vLLM-Omni 部署 Qwen3-TTS 实时语音应用

    AWS 介绍如何在 SageMaker AI 上使用 AWS vLLM-Omni Deep Learning Container 部署 Qwen3-TTS,通过持久双向连接流式发送文本并接收音频。教程提供仓库、部署脚本和 Gradio 客户端,音频以 24 kHz PCM chunks 返回,并说明 SageMaker 实例池、环境配置、端点调用与资源清理流程。

    推荐理由:文章给出从环境配置到资源清理的完整部署路径,并说明双向流式连接与实例池配置,便于复现实时语音输出方案。

9月25日周五
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将低延迟流式视频与实时语音对话结合,生成具备唇形同步、表情和连续对话能力的动态视觉化身。该功能支持异步工具调用、97 种语言间切换,并已在 Gemini Enterprise 提供;自定义化身目前仅通过企业 allowlisting 开放,所有输出均带有 SynthID 水印。

    推荐理由:Google DeepMind 展示了 Live Avatar 在实时对话、异步工具调用、多语言同步和品牌定制上的企业应用方式。

9月24日周四
9月23日周三
  1. Google DeepMind83

    Google 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS

    Google 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,用于生成可定制的角色声音、逐句指导场景对白和大规模语音内容。

    推荐理由:两款模型分别覆盖创意驱动与高量低成本语音生成,并提供声音定制、逐句导演和同意验证,展示了语音模型面向生产应用的能力边界。

9月16日周三
8月28日周五
8月27日周四
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转写模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,用于精确的实时语音转写和智能语音交互。模型通过 Gemini API 提供实时流式与预录音频处理两类 API,支持自定义词汇、自动检测和转写超过 85 种语言,以及最多三位说话人的识别。

    推荐理由:Gemini 3.5 Transcribe同时覆盖实时流式和预录音频处理,并给出WER、延迟及多语言支持等指标,便于评估其开发适用场景。

8月21日周五
  1. Hugging Face Blog75

    Hugging Face 研究量化语音识别中的基准优化

    Hugging Face 最新研究测试了 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考文本中的错误、补回音频中被静音的数字,或根据数据集线索切换拼写形式。

    推荐理由:研究用三项测试量化语音识别模型的基准优化现象,展示公开测试集得分与新音频泛化能力之间的偏差。

8月12日周三
  1. Google DeepMind91

    Google DeepMind发布SL2T手语转文本模型,登陆Gboard和Live Transcribe

    Google DeepMind发布手语转文本模型SL2T,首先支持ASL到英语,并为Pixel 11上的Gboard和Live Transcribe提供手语输入功能。SL2T使用超过100,000小时、覆盖50多种手语的数据训练,端侧MediaPipe Holistic仅上传身体姿态坐标进行翻译;在FLEURS-ASL基准上取得70 BLEURT的zero-shot分数。

    推荐理由:SL2T将大规模多语言训练、端侧姿态追踪与隐私设计结合,并已进入Gboard和Live Transcribe,展示了手语翻译落地面临的关键技术取舍。

  2. Google Research87

    Google Research 推进 AMIE 实时音视频临床问诊能力

    Google Research 介绍了基于 Gemini 和 Project Astra 的 AMIE (Video),可在实时视频问诊中感知非语言临床线索、引导虚拟体格检查并进行诊断推理。研究覆盖 100 个场景和 300 次咨询,在核心临床能力上评估结果与初级保健医生相当;但研究仅使用专业患者演员,真实患者和真实临床条件下的实用性仍需进一步验证。

    推荐理由:研究展示了 AMIE 从文本对话扩展到实时音视频问诊的系统设计与评估,也清楚交代了模拟场景和真实患者验证之间的边界。

8月11日周二
  1. Hugging Face Blog82

    NVIDIA Magpie TTS 发布多语言开放权重版本,支持 12 种语言与低延迟部署

    NVIDIA Magpie Multilingual TTS 发布更新版开放权重模型,参数量为 364M,支持 12 种语言,并新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese。

    推荐理由:文章集中展示了 Magpie TTS 的语言覆盖、延迟指标与部署方式,便于评估开放权重语音模型在生产场景中的取舍。

7月15日周三
  1. Hugging Face Blog76

    Hugging Face 发布 Real World VoiceEQ,评估语音 AI 的人类化交互质量

    Hugging Face 发布 Real World VoiceEQ 基准,用于评估语音系统识别、生成和响应语气、情绪、说话人身份及背景信息的能力。该基准覆盖 40 多个语音模型、15+ 个评估维度和 60 多项指标,并基于超过 1 million 条人工评分构建。研究发现,不同模型在技术准确性、情绪理解、对话智能、表现力和鲁棒性上各有侧重,传统基准可能高估真实对话表现,人工听评仍不可替代。

    推荐理由:Real World VoiceEQ 将语音交互拆分为多项能力并引入大规模人工评分,为理解模型在情绪、身份和真实环境中的差异提供了更贴近使用场景的测量框架。

7月1日周三
6月9日周二
  1. Google DeepMind87

    Google 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google 发布 Gemini 3.5 Live Translate,可自动识别 70+ 种语言并进行接近实时的语音到语音翻译,同时保留说话者的语调、语速和音高。

    推荐理由:Gemini 3.5 Live Translate 将连续语音翻译、音色节奏保留与多端接入结合,文中也列出开发者、企业和普通用户的使用入口。

4月16日周四
  1. Google DeepMind79

    Google 发布 Gemini 3.1 Flash TTS 语音模型

    Google 发布 Gemini 3.1 Flash TTS,提升语音质量、可控性和表现力,并支持原生多说话人对话及 70+ languages。模型新增 audio tags,可通过自然语言控制语气、语速和表达方式,并在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中分阶段提供预览或使用。

    推荐理由:Gemini 3.1 Flash TTS 将音频标签、场景指令和说话人设置结合,展示了开发者如何更细致地控制语音表达与多轮角色表现。

3月26日周四
  1. Google DeepMind85

    Google 发布 Gemini 3.1 Flash Live 语音模型

    Google 发布 Gemini 3.1 Flash Live,提升了语音交互的精度、自然度和响应速度,并支持更可靠的复杂任务执行。

    推荐理由:Gemini 3.1 Flash Live 同时给出语音交互、任务执行和多语言扩展的具体变化,便于判断其开发者与终端使用场景。

3月24日周二
  1. Mistral AI83

    Mistral AI 发布 Voxtral TTS 多语言文本转语音模型

    Mistral AI 发布 4B 参数的 Voxtral TTS,这是其首个文本转语音模型,支持英语、法语、德语、西班牙语等 9 种语言,并提供情绪表达、低延迟生成和自定义声音适配。

    推荐理由:Voxtral TTS同时给出多语言语音生成、低延迟和声音适配细节,并以人工评测呈现其与ElevenLabs模型的对比结果。

3月7日周六
  1. Google Research79

    Google Research 发布 WAXAL:覆盖27种非洲语言的开放语音资源

    Google Research 发布 WAXAL,这是一个覆盖27种撒哈拉以南非洲语言的开放语音数据集,服务于自动语音识别(ASR)和文本转语音(TTS)。首批资源包含约1,846小时转录自然语音和超过565小时高保真录音,覆盖超过100 million speakers,并以 CC-BY-4.0 许可开放。数据由非洲学术与社区组织参与采集,Google 计划持续扩展语言覆盖范围。

    推荐理由:WAXAL同时覆盖自然语音识别与高保真语音合成数据,并以开放许可面向27种非洲语言,为低资源语音技术研究提供了可复用基础。

2月5日周四
  1. Mistral AI86

    Mistral AI 发布 Voxtral Transcribe 2 语音转写模型

    Mistral AI 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时应用的 Voxtral Realtime。

    推荐理由:Voxtral Transcribe 2 同时覆盖批量与实时转写,给出延迟、价格、语言支持和部署方式,便于评估不同语音应用的选型空间。