跳到正文
AYi· @AYi_AInotes · X·· 1 小时前精选AI 评分65
AI 导读

NVIDIA 开源 7B 全双工语音模型 PersonaPlex,代码 MIT、权重开放,可边听边说并支持打断。该模型基于 Kyutai 的 Moshi 架构,官方论文中对话自然度 DMOS 为 2.95,Gemini 为 2.80,支持文本定人设、音频零样本克隆音色,本地约需 24G 显存,目前主要支持英文。

推荐理由

原文在报道之外补充了架构来源、许可方式和显存门槛等实用信息,做语音产品的读者可据此评估本地可行性。

正文

NVIDIA 刚开源的这个 7B 模型,让语音助手第一次能被你打断。
PersonaPlex,全双工,边听边说,代码 MIT、权重开放,本地一张卡就能跑。

当前语音 AI 最大的摩擦,从来不是音色不够真,是它不会插话、不会闭嘴。
NVIDIA 开源的 PersonaPlex-7B,专治这个,简单说就是边听边说,不等你讲完。

它不是又一个音色更真的 TTS,
过去的语音助手是三段流水线:先把你的话转成文字,再丢给大模型想,最后合成语音播出来,每一段都在等上一段。

PersonaPlex 把这套东西塞进一个模型,语音直接进、语音直接出。

以前你跟它说话,像用对讲机,
你等它说完,它等你说完,中间一片沉默,谁想插话谁尴尬。听到一半发现不对,也没法直接打断它。

它长在 Kyutai 的 Moshi 架构上,两条流并行:一条在收你的声音,一条同时在生成它的话。
所以你说话时它会在旁边轻声附和,你一开口,它能立刻停下来让你讲。官方论文里,对话自然度 DMOS 是 2.95,Gemini 是 2.80。

更狠的是,人设和声音被它做成了两个开关。
一段文本定角色,一段音频定音色,零样本克隆声音。做语音智能体、游戏 NPC、陪伴产品,不用再自己拼一整套。

语音 AI 最难的从来不是让它开口,
是让它学会插话、附和,和闭嘴。

做语音产品的,可以拿它本地跑:代码用 MIT,权重是 NVIDIA 开放模型许可,不被厂商锁死。
但两个前提先讲清楚——目前主要支持英文,中文还不行;本地大致要一张 24G 显存的卡。
https://x.com/oliviscusAI/status/2109245289798549819/video/1

来源:AYi · x.com