2026年6月25日，美团LongCat团队在GitHub上开源了LongCat-AudioDiT模型，这是一款采用前沿扩散技术的零样本文本转语音（TTS）语音克隆模型。LongCat-AudioDiT最核心的技术创新在于摒弃了传统TTS系统中使用的中间表征（如梅尔频谱图），直接在波形潜在空间中进行操作。
传统TTS系统通常采用"两阶段"路线：首先将文本转换为梅尔频谱图，再将频谱图通过声码器转换为波形音频。这种级联架构在每一阶段都会引入信息损失和误差累积，直接影响最终语音的自然度和保真度。LongCat-AudioDiT选择直接在波形空间中进行扩散生成，跳过了频谱图这个中间环节，从而消除了级联误差。
LongCat-AudioDiT的"零样本"能力意味着它不需要对目标说话人进行微调训练，只需参考数秒的语音样本就能克隆出高度逼真的语音。在实际测试中，仅需3秒的参考语音，模型就能生成与目标说话人音色、语调和情感高度一致的语音内容，在自然度MOS评分（Mean Opinion Score）上达到了4.35分，非常接近真人语音的水平。
LongCat-AudioDiT的开源之所以引起AI绘画社区的广泛关注，是因为它代表了AI多模态创作融合的重要趋势。在2026年，单纯的"文生图"或"图生图"已经无法满足创作者的需求，他们需要的是"全感官"的创作体验——视觉、听觉甚至触觉的统一。
美团LongCat-AudioDiT与团队同期开源的其他模型（如LongCat-Next视觉模型、LongCat-Video-Avatar视频数字人模型）共同构成了一个完整的"多模态创作工具箱"。创作者可以使用视觉模型生成图像和视频，使用语音模型添加语音解说或角色配音，再使用数字人生成模型将这些元素融合为一个完整的、表现力丰富的多模态内容产品。
这种融合在具体的应用场景中已经展现出巨大的价值。例如，一位使用AI绘画制作绘本的创作者，现在可以用LongCat-AudioDiT为每个角色生成独特的语音；一位制作AI动画短片的创作者，可以在生成角色的同时为其录制配音，实现"所见即所听"的完整创作体验。AI绘画不再仅仅是"画图"，而是演变为了"创作世界"。
LongCat-AudioDiT的零样本语音克隆能力在多个商业场景中具有广阔的应用前景。在数字人领域，语音克隆技术与AI数字人视觉生成技术的结合，可以创造出既有视觉形象又有独特声音的完全AI化的虚拟角色——这在直播带货、虚拟偶像和企业数字员工等场景中具有巨大的商业价值。
在内容创作领域，LongCat-AudioDiT可以大幅降低有声内容的制作门槛。有声书、播客、语音广告等内容的生产者现在可以在不聘请专业声优的情况下，快速生成高质量的语音内容。零样本克隆技术使得内容创作者可以将任意语音样本作为参考，生成符合内容风格的语音旁白，而无需进行复杂的数据采集和模型训练过程。
在辅助技术领域，LongCat-AudioDiT为失声患者提供了个性化语音恢复的可能。传统语音合成技术只能提供"默认"的合成语音，缺乏个性化和情感表达。而零样本语音克隆技术可以让失声患者仅需提供过去数秒的语音录音，就能恢复自己的"个人专属语音"，极大提升使用体验和生活质量。
美团选择将LongCat-AudioDiT以开源形式发布，体现了公司在AI技术普惠化方面的承诺。开源协议允许开发者在遵循伦理准则的前提下自由使用、研究和改进模型。但零样本语音克隆技术本身就是一把"双刃剑"——在带来巨大创造力的同时，也带来了语音欺诈、信息造假等潜在的滥用风险。
美团LongCat团队在开源的同时，也发布了一套"语音克隆伦理使用指南"，明确禁止未经授权的语音克隆、用于欺诈目的的使用、以及可能侵犯他人隐私权和肖像权的应用场景。模型内部内置了"语音水印"机制，所有生成的语音都包含不可感知的数字水印，便于追溯和排查滥用行为。
AI绘画领域的多模态融合趋势，正在将更多的伦理和安全问题推到前台。当初AI绘画面临"风格侵权"争议时，行业通过训练数据合规化和使用协议规范化建立了一定程度的标准。同样，语音克隆技术也需要建立行业共识和伦理规范——既不要因为潜在风险而阻碍技术创新，也不能因为追求创新而忽视安全底线。
来源：美团LongCat GitHub、机器之心、VentureBeat、雷锋网、AI科技评论
发布时间：2026-06-26