讯飞把语音做成基座:效果涨两成,成本降六成,同传MOS到4.6

首页 / AI资讯 / 数字人

0:00
0:00
1x
定时

在数字人这条产业链上,被讨论最多的永远是脸:皮肤质感、口型对齐、微表情。但真正决定一段实时对话能不能成立的,往往是另一件事:机器有没有听清,并且听懂。科大讯飞在1024开发者节发布的星火语音基座大模型SparkAudio 1.0,攻的正是这一环,官方给出的三个数字是效果提升20%、响应时间降低15%、使用成本降低60%。

语音的难题不是听清,是听懂发生了什么

安静环境下的语音转写,几年前就已经做得不错。难的是真实场景:街头有喇叭声、叫卖声、车轮摩擦地面的声音,几个人同时说话,还有回声与风噪。这种条件下,只把声音转成文字是不够的,机器人或数字人还需要知道谁在说、说话人离多远、环境里发生了什么。

SparkAudio 1.0把能力范围从转写扩到了音频理解、情绪识别、实时说话人分离和环境声理解。官方举的例子很具体:即使置身嘈杂街头,模型也能分辨喇叭、叫卖与轮胎摩擦声,分清交织的人声,从声音线索里推断周围环境。从"听清说了什么"到"听懂发生了什么",这句总结说的就是感知层从文字向场景的迁移。

为什么这一步对数字人特别重要,可以用一个具体场景说明。直播间里,主播说话时背景有音乐、有顾客问价、有收银机的提示音。如果系统只能转写人声,它听到的是一堆断句混乱的文字;如果能区分声源,它就知道哪一句是主播、哪一句是顾客、哪一声只是提示音。前者只能做字幕,后者才谈得上接话。这中间的差别不在识别准确率,而在是否具备声场的结构化理解。

讯飞把路线写成语音交互、多模交互、具身多模交互三级,顺序值得琢磨。语音在最底层,因为它是最低带宽、最不依赖视线的通道;多模在中间,要解决视听信息的对齐;具身在最上层,要求模型在动态环境里边感知边行动。三级不是并列的功能清单,而是依赖关系,下一级的稳定性决定上一级能不能成立。

三项技术换来20%、15%和60%三个数

支撑这轮提升的是三项自研组件。半监督音频编码器解决的是标注数据不够的问题,用少量标注加大量无标注音频训练表征,强化模型对声音本身的建模能力;动态分段端到端建模针对的是长音频处理,不再按固定窗口切分,而是让模型自己判断语义边界;双范式协同解码则把两类解码策略放在一起,兼顾准确率与延迟。

三个数字之间的关系值得注意。效果涨20%是质量维度,响应降15%是延迟维度,成本降60%是工程维度。这三者过去是互相拉扯的:要更准就上更大的模型,延迟和成本跟着涨。成本降六成意味着同样的语音服务可以用更少的算力跑起来,对需要长时在线的数字人来说,这一项比分数的提升更能决定能不能商用。

60%这个降幅还牵动另一件事:并发。语音服务的成本结构里,单次推理的算力与同时服务的路数共同决定单位成本。成本降六成,等于同样预算能多撑一倍以上的并发,这对客服、导览、直播这类高峰期集中的场景意义重大。过去很多数字人项目卡在高峰期限流,技术原因不是模型不行,而是账单撑不住。

响应时间降15%听起来不多,但语音交互的容忍阈值很窄。人类对话中的轮转间隔通常在几百毫秒量级,超过一秒就会感到迟疑,超过两秒就会被认为卡顿。在这个区间里压缩15%,往往就是从"像在等机器"变成"像在跟人说话"的分界。这也是为什么语音赛道的优化从不追求翻倍,而是抠每一个百分点。

基座加专用模型,是绕开不可能三角的办法

讯飞给出的落地路径是分层:先做一个通用语音基座,用人声、环境声、时序关联、说话人关系这些通用音频表征做统一预训练;基座之上再挂语音识别、语音同传、实时语音交互等专用任务模型,针对具体任务做极致调优,平衡效果、精度、时延与工程成本。同传的MOS评分从4.4升到4.6,就是这条路径的直接产出。

这个思路和纯端到端的大一统模型相反。大一统的好处是架构干净,坏处是每个场景都要为全局能力付出算力。分层的好处是可以按场景裁剪,代价是要维护多套模型与它们之间的一致性。在语音这种对延迟极敏感的场景里,分层目前更经济。

分层的代价是工程复杂度。基座升级一次,上面挂的所有专用模型都要重新对齐特征分布,否则精度会掉。这意味着团队要维护一套版本矩阵,记录哪个专用模型配哪一版基座,还要为老客户保留旧组合。这种做法在云服务里很常见,落到语音这种对稳定性要求极高的场景,几乎是必须付的成本。

从竞争格局看,分层路线也让后来者更难追赶。基座需要大量无标注音频与长期预训练,专用模型需要真实场景的错误样本,两块都是时间堆出来的资产,不是靠一次架构创新就能反超。这也解释了为什么语音赛道多年没有出现颠覆式的黑马,头部公司的优势更多体现在数据回路而不是模型结构上。

数字人和机器人,缺的正是这只耳朵

已经落地的产品能说明这套能力的位置。讯飞输入法16.0、讯飞听见、讯飞智能办公本上线了SparkAudio 1.0;新发布的AI录音环重35克,可磁吸在手机背面,两小时录音约十秒传至手机,综合识别准确率超96%;讯飞AI眼镜重约40克,支持120余种语言翻译,同传首响低至2秒;星火智慧座舱3.0提供超100项多模感知能力,在主持人47秒念完350字的语速下完成了连续指令。

这些产品的共同点是都在物理世界里使用。数字人在直播间、机器人在门店、眼镜在通勤路上,环境噪声与多人说话是常态,而不是例外。过去这类场景的常见做法是外接降噪或让用户重复一遍,体验断裂就在这里。多模感知与具身多模交互被讯飞排成三个连续阶段,语音是第一阶段,也是后面视觉与动作融合的地基。

还有一层行业含义。语音基座的价值不在榜单分数,而在它把交互的容错空间撑大了。同样一句含混的指令,模型听对的概率高一点,产品就能少一次"抱歉我没听清"。这种体验差异很难被参数表体现,却是数字人从演示品变成日常工具的关键一步。当语音这一端足够稳,讨论焦点才有资格回到脸和表情上。

对做数字人的团队来说,还有一笔账要算清楚:自建语音链路的成本远高于外采。语音涉及前端降噪、端点检测、声学模型、语言模型、声码器五个环节,每个环节都有专门的调参经验。除非业务本身就以语音为核心,否则更现实的做法是接成熟的基座API,把资源放在形象与业务逻辑上。

素材来源:人民日报、法治周末、腾讯新闻 发布时间:2026-10-29