做支付起家的 Block 有一个规模不大的研究团队,10 月 23 日他们公布了一个叫 Dessa 的语音模型。官方描述里最反常识的一点是训练语料只有真实的人类对话录音,没有文本,也没有在别人的预训练模型上继续训练。它不把语音转成文字,而是在声音层面直接理解与回应,因此可以在句子中间笑出声、用鼻音表示同意、跟着对方的语气调整自己的语速。团队说这套模型跑在一机架的英伟达服务器上训练完成,在搭载 M4 Max 芯片的 MacBook Pro 上推理速度超过实时。
主流语音助手走的是三段式流水线:先把语音识别成文字,再让大模型生成回复文本,最后用语音合成把文字读出来。这套架构成熟、可调试、复用现成的语言模型能力,代价是每一段都有延迟,而且在中转过程中丢掉大量副语言信息。叹气、迟疑、笑意、音量变化在转写成文字时基本消失,模型即使判断出对方情绪不佳,也只能用措辞补救,无法用声音回应。
Dessa 把这三个环节压成一个,输入是声波,输出也是声波。技术上这意味着模型必须在没有文本对齐的情况下学会语义,训练信号只能来自对话本身。团队强调它一边听一边说,也就是说生成与接收是并行的,不需要等对方说完再开口。人类对话里大量存在的附和音、抢话、重叠发言,只有在并行架构下才可能自然出现,这也是它与现有语音助手最直观的差别,而这一差别在连续对话里会被放大。
公布信息里另一个值得琢磨的细节是训练规模。今天发布一个前沿模型,动辄上万块加速卡、几个月训练周期,Block 这套模型只用了单机架的英伟达服务器。这不代表它比通用大模型更强,而是说明路线不同:语音对话的任务边界窄,语料是对话录音,目标是在真实交流中显得自然,不需要覆盖代码、数学、法律条文这些领域。任务越聚焦,达到可用状态所需的数据与算力越少。
这对中小团队是一个信号。过去两年,语音交互的入场券被视为算力,现在至少存在另一条路径:选定一个足够窄的场景,收集真实对话,从零训练一个专用模型。门槛从买卡变成了拿数据,而数据的获取往往涉及授权与隐私,难度转移了,总量未必降低。
端侧可运行同样值得注意。M4 Max 属于消费级芯片,能在这类硬件上超过实时,意味着客服耳机、车载座舱、陪伴玩具这些对延迟敏感、又不想把声音传上云的场景,技术上已经具备可行性。隐私叙事在这里第一次变得具体:声音不出设备,就不用回答录音存在哪里的问题。
The Verge 的体验记录提到,Dessa 在演示中把一位说话者错认成了名叫 Ronaldo 的人。《The Verge》的评价是演示效果参差。这类错误在语音原生模型上并不意外,缺少文本这一层显式的语义锚点,说话人识别只能依赖音色与上下文,遇到相似声线或多人交替发言时容易混淆。
参差的演示其实说明团队没有做过度包装。如果只放出剪辑好的片段,外界会误以为技术已经成熟;把不稳定的一面展示出来,反而让人能判断它处在什么阶段。研究团队给出的定位也很克制:不公开发布,只开候补名单,并向一小批安全研究者开放早期访问。语音原生模型的风险面比文本模型更宽,声音克隆、身份冒用、情绪操纵都能在几秒音频里完成,先在受控范围内观察是合理选择。这类错误本身也有信息量,它暴露出模型在说话人建模上的短板,而说话人建模恰好是多人对话场景的地基。
文本模型有一套相对成熟的评测办法,考试题、代码题、长文写作,对错和优劣都能拆开看。语音对话没有这样的标尺。延迟、打断响应、语气匹配、情绪识别准确率,这些指标各自可测,合起来是不是一次好的对话,仍然依赖人的主观判断。Dessa 目前没有公开基准,也没有第三方复现,这是它最薄弱的一环。
行业里已有的做法是把主观评价拆成维度,让评审在不知情的条件下给多段对话打分,再统计一致性。这套办法成本高、周期长,对快速迭代的研究团队不友好。另一条路是把对话结果交给下游任务检验,比如客服场景看问题解决率,陪伴场景看使用时长,用业务指标反推对话质量。两条路都不完美,但比只放精彩片段要可靠。
还有一个容易被忽略的变量是设备。文本模型的评测可以固定随机种子、公开提示词,结果可复现;语音模型的输出会受麦克风、采样率、环境噪声影响,同一段音频在会议室录和在车里录,模型的表现可能相差不少。团队如果要做上线决策,最实用的办法是自建一个小规模测试集,用二十段固定的对话跑回归,记录每次版本迭代的变化,而不是依赖厂商的演示素材。
今年语音赛道热闹,ElevenLabs 把实时语音做成了可调用的接口,延迟压到 0.5 秒级别,走的是托管服务路线,客户按调用量付费。Dessa 目前没有定价、没有接口、没有商用计划,更像一次路线验证:证明不经过文本中转也能做出可用的对话模型。两条路线的分野在未来会越来越清楚,一条卖能力,一条先解决研究问题。
对做产品的团队来说,现在能做的不是等 Dessa 开放,而是重新评估自己业务里对语音的依赖程度。如果核心价值在信息准确,三段式流水线仍然是稳妥选择,可观测、可纠错;如果核心价值在陪伴感与临场感,声音原生架构的优势会随延迟下降而放大。技术选型的判断标准,最终还是落在用户愿不愿意多说几句话上。