扩散智能开源Clover:参数翻了五倍,速度没掉,还快了五到十倍

首页 / AI资讯 / 大模型

0:00
0:00
1x
定时

10月28日,扩散智能DiffuSpace发布并开源了Clover-35B-A3B-Preview。这是一款总参数350亿、激活参数30亿的MoE模型,走的却不是GPT、Claude那条从左到右逐个吐词元的路,而是扩散语言模型路线:一次并行解码一整块内容,靠多轮去噪把乱码收敛成句子。官方给出的对照很直白,在智能体编程任务上,它的生成速度最高可以达到同尺寸自回归模型的五到十倍。

680个词元每秒,是并行解码换来的

官方技术博客披露,Clover在内部测试中的整体生成速度是每秒680个词元。演示案例是一场空管报文处理:从20条报文里提取地点与半径,在一张三维地图上标出无人机的禁飞区,Clover用了7.32秒,作为对照的Qwen3.5用了62.3秒。差出来的近55秒不是算力差,而是解码方式差,自回归要一个词元一个词元排队,扩散可以一次铺开再修。

第三方视角也有一组数据。有开发者在WindTunnel的49项任务上测过,Clover的中位执行时间是1.52秒,而以速度著称的Jev模型加Mercury 2.5组合的中位执行时间是3.21秒,正好是Clover的两倍出头。中位执行时间这个口径比峰值速度更接近真实体验,因为它把慢任务也算进去了。

差距为什么能拉到这个量级,要回到解码机制。自回归模型生成第N个词元时必须等前N减1个算完,硬件再强也只能串行推进,批处理能提高吞吐但改变不了单条请求的时延。扩散模型把一整块位置同时铺开,几十轮去噪之后一次定稿,理论上单条请求的时延与块大小相关,而不与文本长度线性相关。文本越长,这个优势越明显。

门控Delta网络被重写,这才是这一代真正的改动

上一代扩散模型的通病是块与块之间接不上。并行解码把一句话拆成几块同时去噪,块内看着通顺,块与块之间的指代和因果容易断。Clover的做法是重构门控Delta网络:用递归状态把历史上下文压成一个紧凑表示,块内则改用双向注意力做细粒度交互,让模型自己在历史记忆和块内信息之间分配权重。

配套的还有可学习的块大小校准和双向局部特征提取,前者决定一次铺开多大的块,后者解决块边界处的语义断裂。三项改动合起来,官方把它总结为在大参数下同时兼顾能力与效率的一条路径。这句话的分量在于,扩散路线此前一直被质疑只能做小模型,参数一上去就训不动、也不划算。

把参数从70亿推到350亿而速度不掉,本身是一次关于训练方法的信息披露。MoE架构让总参数与激活参数解耦,35B总参只激活3B,单次前向的计算量接近一个3B稠密模型;门控网络决定每个词元走哪几个专家,多出来的容量放在存储里而不是算力里。这套组合让扩散路线第一次有可能在参数量上和自回归模型对话,而不只是做小而快的实验品。

同类路线上的对手并不多。Mercury 2.5是少数已经商用的扩散语言模型之一,官方把对标对象直接点到它,说明竞争已经从论文阶段进入产品阶段。区别在于Clover选择了开源权重,Mercury选择了闭源服务,两种路径对生态的影响完全不同:开源会被拿去微调和集成,闭源则更容易控制质量与定价。

六项智能体评测全第一,但速度数据要看是谁在测

团队公布的六项Agent评测里,Clover在所列模型中均取得最高分:SWE-bench Verified 73.6、Terminal-Bench 2.1为51.7、τ³ Overall为65.3,对标的是Mercury 2.5和同尺寸的Qwen3.6-35B-A3B。通用能力方面,官方称在指令遵循、知识、逻辑推理和长文本理解上达到或超过同尺寸自回归模型,这句话的措辞很谨慎,是达到或超过,不是领先。

读这些分数需要几个前提。评测由模型方自己组织,对照模型的版本与提示词模板是否最优没有交代;680词元每秒来自内部测试,WindTunnel那组数据来自社区开发者,两者的硬件环境和batch设置并不相同;速度优势在短任务上最明显,长任务里块与块的一致性校验会吃掉一部分收益。这些都写在技术博客的边角位置,没有写进宣传语。

不过分数本身含金量不低。SWE-bench Verified 73.6这个量级,已经落在闭源中型模型的区间里,而它的激活参数只有3B。终端类任务的51.7与τ³的65.3也说明,扩散解码不只适合写代码,在需要多轮工具调用的对话里同样站得住。真正的疑问在于,这些成绩是在多少次重试里取的最好值,官方没有交代尝试次数。

扩散路线还缺一块拼图:训练与生态

权重与代码已经放到Hugging Face和GitHub,支持SGLang与llama.cpp推理,也可以通过官方站点申请在线体验。训练侧的信息给得很少,数据配比、训练时长、算力规模都没有公开,这决定了它暂时只能被使用,不能被复现。对研究者来说,这是最影响判断的一项缺失。

团队给出的下一步是两条产品线:一条是决策模型,支持单次生成联合处理最多8个关联问题,避免多个判断之间的逻辑冲突;另一条是多模态模型。这两个方向都和扩散的并行特性贴合,因为一次性看到全局,本来就比逐字推进更适合做约束满足类的判断。扩散语言模型要走多远,最终不取决于速度快几倍,而取决于有没有人愿意在它上面搭工具链。生态这件事,开源只是入场,后面还要看社区肯不肯为它写适配器。

对比一下时间线会更清楚。自回归路线从2019年走到今天,靠的是六年间不断累积的推理框架、量化工具和微调脚本,这些工作绝大多数由社区完成。扩散语言模型要从论文变成生产工具,同样需要这段长尾。Clover已经兼容SGLang与llama.cpp,这是一个好的起点,但真正决定它能不能被企业采用的,是它在长上下文、结构化输出和函数调用这些工程细节上有没有人愿意踩坑并回填。

素材来源:央广网、DoNews、封面新闻 发布时间:2026-10-29