跳到正文

#语音

今日 12 条
今天10月2日周五
  1. Suno26

    https://suno.com/s/nLnF9DZvqyIFxi2u thanks we try really hard

    引用Gavin Guo@Zhen4good

    speech + background music in one pass is the kind of thing that sounds trivial until you try to keep them temporally coherent. two generators fighting for the same timeline usually smear each other. if the music actually ducks, swells, and punctuates around the voice instead of being glued on after, that's a real step for realtime audio.

  2. elvis48

    我觉得 AI 语音缺了一个质检层。 在我构建的大多数应用里,语音听起来已经很棒了。但真正让我在生产环境翻车的,是模型把“Q3”、“v1.2”或某个品牌名读错。 这对人们对语音智能体的感知影响巨大。 @OnepinAI 正在解决这个问题。在你听到之前,他们会检查每一行的自然度、清晰度和发音。 当某个词读错时,它会直接修复那个词,而不是重新生成整行。

    引用Soohyun Bae@RealSoohyunBae

    Your AI voice sounds human. So why can't it say your product's name? A great AI voice reads "Porsche Taycan" as TAY-can. Porsche says TIE-kahn. It guessed from the spelling, and nobody caught it, because nobody listens to line 1,200. Today we're launching Onepin: the production step after text-to-speech. It checks every line of voiceover before it ships using the voices you already work with. Onepin can: ➤ Check people's and product names against a 4-million-word pronunciation dictionary ➤ Spell out prices and dates before the voice speaks ➤ Score every line of audio for naturalness, clarity and word accuracy ➤ Fix the one wrong word in the same voice, without re-rendering the take Works with your voice subscription on @ElevenLabs, @OpenAI, @Google and 30+ more. No phonetic spellings to type. No re-rolls. No switching providers. Free to start, no credit card required. Hear the before and after in the thread ⬇️

  3. Microsoft AI News61

    Microsoft AI 发布 MAI-Transcribe-2-Streaming 及 MAI-Voice-2.1 语音模型

    Microsoft AI 发布实时流式转写模型 MAI-Transcribe-2-Streaming,在 Artificial Analysis 的最终与部分转写准确率均排名第一,支持 60 种语言,接收到音频后约 100ms 内产出首个 partials,内部评测显示实时听写场景出词速度比最接近的竞品快 2x,年底前 introductory 价 $0.54 每小时音频。

    推荐理由:官方公布三款语音模型的具体定价、延迟数字和 Artificial Analysis 排名,可据此评估搭建语音智能体的成本与速度。

10月1日周四
  1. Suno Blog67

    Suno 推出 Speech 测试版,可同时生成语音与背景音乐

    Suno 发布 Speech 测试版,称其为首个能把语音和音乐作为一条完整音轨共同生成的音频模型。用户输入文字并描述声音与音乐风格,即可生成配有原创背景音乐的语音内容;此前已小范围测试一个月,现向所有用户开放,团队表示会持续改进。

    推荐理由:原文说明了 Speech 将语音与音乐合成为一条轨道的玩法和开放范围,读者可据此判断它带来哪些新用途。

9月30日周三
  1. Hugging Face Daily Papers39

    LEAP:面向长音视频感知的学习式分块证据检索框架

    LEAP 通过将录音切分为固定时长块、用轻量定位阶段为每块候选窗口打分,再把高分窗口汇聚后单次有界重编码作答,使答案输入与峰值上下文不随录音时长增长。在多个 AVQA 基准上,LEAP 较 Qwen3-Omni-30B-A3B 基线提升 4.5-16.8%,迁移到 MiniCPM-o 4.5 后超出其已发表结果 3.1-13.0%。

9月29日周二
  1. OpenBMB30

    MiniCPM-o 4.5 现已支持 SGLang Omni v0.1.7。 为开发者提供更多灵活的运行和构建方式。

    引用Guitar Cat + LLM@GenAI_is_real

    Hi everyone, today we released SGLang Omni v0.1.7. This release includes 75 merged PRs and welcomes 8 new contributors, with 8 first-time contributions. We added MiniCPM-o 4.5, NVIDIA PersonaPlex-7B, and OmniTyper powered by MLX streaming ASR, while further improving realtime and stateful Omni serving. 1.Performance: continued optimizations for Qwen3-TTS, Qwen3-Omni, CosyVoice3, MOSS-TTS, and AuK, covering Prefill CUDA Graph, speaker/reference encoding, kernel fusion, batching, and vocoder hot paths. 2.Serving: added Omni session lifecycle, the SGLang streaming session bridge, and a shared /v1/realtime WebSocket runtime, while further improving realtime ASR and streaming serving. 3.Models & hardware: added MiniCPM-o 4.5 multimodal input and speech output, plus PersonaPlex-7B offline speech-to-speech. MiniCPM-o and MiniMax-Music3 now support Intel XPU, with further MUSA support for Qwen3-TTS. 4.Runtime: improved breakable Prefill CUDA Graph, Talker / Code2Wav colocation, priority CUDA streams, scheduler admission, and profiling infrastructure to reduce host overhead and improve high-concurrency stability. https://github.com/sgl-project/sglang-omni/releases/tag/v0.1.7 https://github.com/sgl-project/sglang-omni

  2. Hugging Face Daily Papers41

    Tacit-TTS:从自回归解码到掩码预测的高效无转写语音克隆

    Tacit-TTS 是一个从 IndexTTS2 蒸馏而来的无转写零样本语音克隆系统,用掩码非自回归生成替代自回归文本到语义解码,并引入免训练声学长度估计与 ReFlow 蒸馏加速流匹配渲染器。在四个中英文数据集上,其对超过 5 秒的语句生成速度比 IndexTTS2 快 10 倍以上,同时保持有竞争力的零样本质量。无转写条件还支持跨语言及非词汇参考,如其他八种语言、婴儿咿呀声和合成乱语。

9月28日周一
9月26日周六
9月25日周五
  1. Google DeepMind51

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,为对话模型加入近实时视频生成与视觉形象,今日起在 Gemini Enterprise 提供。该功能支持精确唇形同步、异步工具调用不中断对话、跨 97 种语言的语音到语音同步,并可用参考图定制头像(需企业允许名单),所有输出带 SynthID 水印。

9月24日周四
  1. Apple Machine Learning Research39

    Apple 用潜空间蒸馏压缩流式神经音频编码器,2.8 倍压缩下 WER 仅升 1.9%

    Apple 研究团队提出潜空间蒸馏方法压缩流式神经音频编码器(tokenizer),以教师模型量化前的逐帧潜表示为监督目标,仅训练学生编码器做回归,并用单层仿射层吸收师生宽度差异。在 2.8 倍压缩下,六组师生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内,并比同容量独立训练编码器相对提升 3.9%。该方法同时适用于独立预训练和与语言模型联合训练的 tokenizer。

  2. Apple Machine Learning Research26

    Apple 提出半监督联邦 ASR 实用方案:在线伪标签配合服务端更新稳定化

    Apple 研究团队提出半监督联邦 ASR 训练方案,通过在线伪标签教师与服务端标注数据锚定更新两条耦合设计轴,解决伪标签误差跨序列、跨轮次累积导致的训练发散问题。该方案在 11 组对比中 9 组优于此前最强方法,域内平均提升 20.8%、跨域提升 10.0%,缩小了与全监督联邦学习的差距。

  3. Greg Brockman78

    ChatGPT Voice 重大升级,可调用邮件、日历、Slack 等插件,并可由 GPT-6 Astra、Sol 和 Luna 驱动。用户可在网页和移动端的 ChatGPT Work 中仅凭语音创建文档、演示文稿、网站和表格,或通过浏览器完成复杂任务,今日起在全球最新版本应用中推出。

    引用OpenAI@OpenAI

    We heard you loud and clear. ChatGPT Voice can now: - Use plugins like your email, calendar, and Slack. - Be powered by GPT-6 Astra, Sol, and Luna. - Be used in ChatGPT Work on web and mobile, so you can create docs, decks, sites, and spreadsheets or tackle complex tasks in the browser, just by talking. Rolling out globally today in the latest version of the app.

    推荐理由:原文列出了语音可用的插件类型和可用入口,读者可以据此判断日常语音助手工作流会有哪些变化。

9月23日周三
  1. Google DeepMind68

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示词设计角色声音、30 秒音频样本复刻声音,并逐行指挥表演。

    推荐理由:原文给出两个 TTS 模型的定位差异、基准成绩和开放渠道,读者可据此评估语音生成工作流的选型。

9月22日周二