跳到正文

#语音

今日 0 条
9月23日周三
  1. Google DeepMind83

    Google 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS

    Google 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,用于生成可定制的角色声音、逐句指导场景对白和大规模语音内容。

    推荐理由:两款模型分别覆盖创意驱动与高量低成本语音生成,并提供声音定制、逐句导演和同意验证,展示了语音模型面向生产应用的能力边界。

9月16日周三
8月27日周四
  1. Google DeepMind84

    Google DeepMind 发布 Gemini 3.5 Transcribe 语音转写模型

    Google DeepMind 发布 Gemini 3.5 Transcribe,用于精确的实时语音转写和智能语音交互。模型通过 Gemini API 提供实时流式与预录音频处理两类 API,支持自定义词汇、自动检测和转写超过 85 种语言,以及最多三位说话人的识别。

    推荐理由:Gemini 3.5 Transcribe同时覆盖实时流式和预录音频处理,并给出WER、延迟及多语言支持等指标,便于评估其开发适用场景。

8月12日周三
  1. Google DeepMind91

    Google DeepMind发布SL2T手语转文本模型,登陆Gboard和Live Transcribe

    Google DeepMind发布手语转文本模型SL2T,首先支持ASL到英语,并为Pixel 11上的Gboard和Live Transcribe提供手语输入功能。SL2T使用超过100,000小时、覆盖50多种手语的数据训练,端侧MediaPipe Holistic仅上传身体姿态坐标进行翻译;在FLEURS-ASL基准上取得70 BLEURT的zero-shot分数。

    推荐理由:SL2T将大规模多语言训练、端侧姿态追踪与隐私设计结合,并已进入Gboard和Live Transcribe,展示了手语翻译落地面临的关键技术取舍。

  2. Google Research87

    Google Research 推进 AMIE 实时音视频临床问诊能力

    Google Research 介绍了基于 Gemini 和 Project Astra 的 AMIE (Video),可在实时视频问诊中感知非语言临床线索、引导虚拟体格检查并进行诊断推理。研究覆盖 100 个场景和 300 次咨询,在核心临床能力上评估结果与初级保健医生相当;但研究仅使用专业患者演员,真实患者和真实临床条件下的实用性仍需进一步验证。

    推荐理由:研究展示了 AMIE 从文本对话扩展到实时音视频问诊的系统设计与评估,也清楚交代了模拟场景和真实患者验证之间的边界。

8月11日周二
  1. Hugging Face Blog82

    NVIDIA Magpie TTS 发布多语言开放权重版本,支持 12 种语言与低延迟部署

    NVIDIA Magpie Multilingual TTS 发布更新版开放权重模型,参数量为 364M,支持 12 种语言,并新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese。

    推荐理由:文章集中展示了 Magpie TTS 的语言覆盖、延迟指标与部署方式,便于评估开放权重语音模型在生产场景中的取舍。

6月9日周二
  1. Google DeepMind87

    Google 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google 发布 Gemini 3.5 Live Translate,可自动识别 70+ 种语言并进行接近实时的语音到语音翻译,同时保留说话者的语调、语速和音高。

    推荐理由:Gemini 3.5 Live Translate 将连续语音翻译、音色节奏保留与多端接入结合,文中也列出开发者、企业和普通用户的使用入口。

4月16日周四
  1. Google DeepMind79

    Google 发布 Gemini 3.1 Flash TTS 语音模型

    Google 发布 Gemini 3.1 Flash TTS,提升语音质量、可控性和表现力,并支持原生多说话人对话及 70+ languages。模型新增 audio tags,可通过自然语言控制语气、语速和表达方式,并在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中分阶段提供预览或使用。

    推荐理由:Gemini 3.1 Flash TTS 将音频标签、场景指令和说话人设置结合,展示了开发者如何更细致地控制语音表达与多轮角色表现。

3月26日周四
  1. Google DeepMind85

    Google 发布 Gemini 3.1 Flash Live 语音模型

    Google 发布 Gemini 3.1 Flash Live,提升了语音交互的精度、自然度和响应速度,并支持更可靠的复杂任务执行。

    推荐理由:Gemini 3.1 Flash Live 同时给出语音交互、任务执行和多语言扩展的具体变化,便于判断其开发者与终端使用场景。

3月24日周二
  1. Mistral AI83

    Mistral AI 发布 Voxtral TTS 多语言文本转语音模型

    Mistral AI 发布 4B 参数的 Voxtral TTS,这是其首个文本转语音模型,支持英语、法语、德语、西班牙语等 9 种语言,并提供情绪表达、低延迟生成和自定义声音适配。

    推荐理由:Voxtral TTS同时给出多语言语音生成、低延迟和声音适配细节,并以人工评测呈现其与ElevenLabs模型的对比结果。

2月5日周四
  1. Mistral AI86

    Mistral AI 发布 Voxtral Transcribe 2 语音转写模型

    Mistral AI 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时应用的 Voxtral Realtime。

    推荐理由:Voxtral Transcribe 2 同时覆盖批量与实时转写,给出延迟、价格、语言支持和部署方式,便于评估不同语音应用的选型空间。