跳到正文

#语音

今日 1 条
今天10月2日周五
  1. Microsoft AI News61

    Microsoft AI 发布 MAI-Transcribe-2-Streaming 及 MAI-Voice-2.1 语音模型

    Microsoft AI 发布实时流式转写模型 MAI-Transcribe-2-Streaming,在 Artificial Analysis 的最终与部分转写准确率均排名第一,支持 60 种语言,接收到音频后约 100ms 内产出首个 partials,内部评测显示实时听写场景出词速度比最接近的竞品快 2x,年底前 introductory 价 $0.54 每小时音频。

    推荐理由:官方公布三款语音模型的具体定价、延迟数字和 Artificial Analysis 排名,可据此评估搭建语音智能体的成本与速度。

10月1日周四
  1. Suno Blog67

    Suno 推出 Speech 测试版,可同时生成语音与背景音乐

    Suno 发布 Speech 测试版,称其为首个能把语音和音乐作为一条完整音轨共同生成的音频模型。用户输入文字并描述声音与音乐风格,即可生成配有原创背景音乐的语音内容;此前已小范围测试一个月,现向所有用户开放,团队表示会持续改进。

    推荐理由:原文说明了 Speech 将语音与音乐合成为一条轨道的玩法和开放范围,读者可据此判断它带来哪些新用途。

9月30日周三
9月25日周五
  1. Google DeepMind51

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,为对话模型加入近实时视频生成与视觉形象,今日起在 Gemini Enterprise 提供。该功能支持精确唇形同步、异步工具调用不中断对话、跨 97 种语言的语音到语音同步,并可用参考图定制头像(需企业允许名单),所有输出带 SynthID 水印。

9月24日周四
  1. Apple Machine Learning Research39

    Apple 用潜空间蒸馏压缩流式神经音频编码器,2.8 倍压缩下 WER 仅升 1.9%

    Apple 研究团队提出潜空间蒸馏方法压缩流式神经音频编码器(tokenizer),以教师模型量化前的逐帧潜表示为监督目标,仅训练学生编码器做回归,并用单层仿射层吸收师生宽度差异。在 2.8 倍压缩下,六组师生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内,并比同容量独立训练编码器相对提升 3.9%。该方法同时适用于独立预训练和与语言模型联合训练的 tokenizer。

  2. Apple Machine Learning Research26

    Apple 提出半监督联邦 ASR 实用方案:在线伪标签配合服务端更新稳定化

    Apple 研究团队提出半监督联邦 ASR 训练方案,通过在线伪标签教师与服务端标注数据锚定更新两条耦合设计轴,解决伪标签误差跨序列、跨轮次累积导致的训练发散问题。该方案在 11 组对比中 9 组优于此前最强方法,域内平均提升 20.8%、跨域提升 10.0%,缩小了与全监督联邦学习的差距。

9月23日周三
  1. Google DeepMind68

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示词设计角色声音、30 秒音频样本复刻声音,并逐行指挥表演。

    推荐理由:原文给出两个 TTS 模型的定位差异、基准成绩和开放渠道,读者可据此评估语音生成工作流的选型。

9月22日周二
  1. Suno Blog31

    Suno 解析:压缩器到底在做什么?

    压缩器通过降低音频中最响部分的音量、再用补偿增益提升整体电平,从而缩小动态范围,让安静细节在混音中更清晰。Suno Studio 的压缩器插件提供阈值、压缩比、启动与释放等参数,并配有实时动态曲线表,适合处理上传或录制的原始音频。Studio 为浏览器端 DAW,随 Suno Premier 订阅免费提供。

9月16日周三
  1. Google Blog: AI64

    Google 公布多语言 AI 进展:Gemini 3.5 Live Translate 支持 70 种语言实时口译,TranslateGemma 可离线运行

    Google 宣布其语言技术已覆盖 300 多种语言、服务超 70 亿人,占全球人口 86%。Gemini 3.5 Live Translate 支持 70 种语言。

    推荐理由:官方梳理了从实时翻译到无障碍设计的语言 AI 布局,并给出各产品的覆盖语言数和合作项目,可作了解现状的参考。

9月11日周五
9月10日周四
  1. OpenAI News70

    OpenAI 在 API 中推出语音模型 GPT‑Live‑1

    OpenAI 在 API 中推出语音模型 GPT‑Live‑1,支持自然的全双工语音对话。模型具备更强的指令遵循能力,支持自定义音色和电话场景。

    推荐理由:官方摘要指出模型新增全双工语音、自定义音色和电话支持,可据此了解 API 语音能力的扩展方向。

9月9日周三
9月8日周二
9月3日周四
8月27日周四
  1. Google DeepMind65

    Google DeepMind 发布语音转写模型 Gemini 3.5 Transcribe

    Google DeepMind 推出语音转文字模型 Gemini 3.5 Transcribe,定位为更精确的实时转写模型,已在 Gemini API(Google AI Studio 和 Gemini Enterprise Agent Platform)开启公开预览。

    推荐理由:官方给出了两个 API 入口、WER 数字和与 Chirp 3 的对比,读者可据此评估其语音转写与语音交互场景的可用性。

8月24日周一
8月21日周五
8月13日周四
  1. Suno Blog65

    Suno Studio 2.0 发布,面向 Premier 订阅者新增 MIDI 编辑与自动化等功能

    Suno 发布 Studio 2.0,现向 Premier 订阅者开放。新增时间线 MIDI 导入、录制与编辑,可用 MIDI 剪辑作为生成提示词,附带新的 wavetable 合成器;另推出 Chat bar(beta)协作创作、高级 stem 分离、音频效果与自定义插件、自动化曲线,并支持无损导出 32-bit/48kHz 多轨与 stems。插件创建目前不消耗 credits。

    推荐理由:官方发布新增 MIDI、Chat bar、自动化等能力,音乐创作者可据此判断 Suno Studio 2.0 是否融入现有工作流。

8月12日周三
  1. Suno Blog67

    Suno 宣布与 BMG 达成全球合作

    Suno 官方宣布与大型音乐公司 BMG 达成全球合作伙伴关系,该合作是 Suno 即将推出的首个与音乐行业共同开发的音乐模型的一部分。双方将共同打造连接艺术家与粉丝的新体验,并为选择加入的艺术家和词曲作者创造新的经济机会,同时深化 Suno: In Session 和 Spark 等对独立艺术家的支持项目。

    推荐理由:Suno 官方宣布与 BMG 达成全球合作,说明合作将伴随其首个与音乐行业共同开发的音乐模型推出,可据此了解 AI 音乐公司与版权方的合作模式。

8月11日周二
  1. Sierra Blog54

    Sierra 为智能体推出开箱即用的 IVR 电话导航能力

    Sierra 推出开箱即用的 IVR 导航能力,让智能体能打电话穿越多级菜单、判断何时沉默、发送 DTMF 按键音并识别真人接听。评测显示开启该功能后整体通过率提升 49%,从 57% 到 85%,其中「联系到人」类任务提升最大;客户包括一家 top 5 医疗支付方和一家全国性数字药房。

8月10日周一
  1. Suno Blog64

    Suno 更新下载政策与服务条款,9月3日起实施下载限额

    Suno 官宣 9 月 3 日起按订阅档位实施下载限额,Free 用户终身仅 7 次试用下载,Pro 每月 20 次,Premier 每月 60 次,Suno Studio 无下载限制,超出部分可购买。同时推出新服务条款,付费计划下载的歌曲保留商用权,此前所有歌曲仍可播放和分享;新一代 Suno 模型即将上线,发布时旧模型将全部退役。

    推荐理由:官方说明给出各档下载限额、免费用户终身额度等关键细节,对现有用户判断订阅与商用权利有直接参考价值。

8月8日周六
  1. Sierra Blog45

    Sierra 推出 Voice Personas:为 AI 智能体打造品牌专属语音人格

    Sierra 发布 Voice Personas,让企业为同一个 AI 智能体配置不同语音人格,可跨品牌、市场与语言复用同一底层智能体。该功能结合语音、个性与语言感知行为,支持智能体在对话中调整语速、应对打断并切换语音或语言,由多种语音模型按场景择优驱动。Sierra 称某智能体搭配自然语音与人格后解决率提升近 50%,Voice Personas 现已上线。

7月24日周五
7月22日周三
7月15日周三
7月9日周四
7月1日周三
6月17日周三
6月11日周四
  1. Suno Blog52

    Suno 更新 Stem Separation:新增三种拆分模式

    Suno 更新 Stem Separation 功能,提供 Auto Split(最多拆出 12 个 stems)、Split from Mix 和仅限 Premier 的 Advanced Split 三种模式。Advanced Split 可从近 100 种乐器中精确提取;Suno 采用重新生成每个 stem 而非切割混音的做法。该功能适用于平台创作及上传的音乐,需付费订阅。

6月9日周二
6月5日周五
6月3日周三
  1. Microsoft AI News61

    Microsoft 发布 MAI-Voice-2 文本转语音模型

    Microsoft 发布文本转语音模型 MAI-Voice-2,在保真度、语言覆盖、说话人一致性和情感范围上较前代显著提升。支持语言从英语扩展到 15 种,提供情感标签细粒度控制,可用 5-60 秒参考音频零样本创建自定义声音,且生产环境仅允许授权声音合成。

    推荐理由:官方发布给出语言扩展、零样本克隆与偏好测试数据,读者可据此评估该语音模型在生产场景中的可用性。

6月2日周二
  1. Microsoft AI News49

    微软发布 MAI-Transcribe-1.5,新增关键词偏置功能

    微软推出转录模型 MAI-Transcribe-1.5,新增关键词偏置功能,可让用户提供领域特定关键词列表来引导预测,模型会结合上下文判断是否应用偏置而非盲目强制匹配。在 FLEURS 多语言基准上,启用关键词偏置后词错误率(WER)降低 30%,在提升专业词汇识别的同时保持通用语音的准确率。

5月19日周二
  1. Sierra Blog34

    Sierra 详解语音 AI 转录平台:多提供商集成与上下文感知如何降低错误率

    Sierra 构建了一套语音转录平台,通过并行调用多个转录提供商进行集成、注入对话上下文,并支持 70+ 种语言,以解决姓名拼写歧义、行业术语识别等难题。其内部基准显示,集成方案平均将话语错误率降低约 25%,在部分语言中最高降低 37%;上下文感知转录使金融服务智能体的输入验证率提升超 25%,整体问题解决率最高提升 1%,重大转录错误减少最多 15%。

5月4日周一
  1. Runway News66

    Runway 发布 Characters,单张图片生成 24fps 实时对话视频智能体

    Runway 发布 Characters,基于 GWM-1 将单张参考图转为可实时对话的视频角色,无需微调,支持写实人像、卡通和吉祥物等风格。模型每帧有效耗时 37 毫秒,用户停止说话到角色开口的服务端延迟 1.75 秒;通过扩散变换器与 VAE 解码器流水线并行、KV-cache 管理、CUDA Graphs 和 Triton 核优化实现 24fps 实时生成。

    推荐理由:官方技术博客拆解了实时管线的关键数字和系统优化,读者可以据此理解单图驱动的对话视频智能体的实现路径。