参数规模增至 5 倍、保持「10 倍速」:扩散智能 DiffuSpace 开源 Clover 35B-A3B-Preview

摘要

10 月 28 日,扩散智能 DiffuSpace 发布并开源最新模型 Clover-35B-A3B-Preview,采用 MoE 架构,总参数 350 亿、激活 30 亿。测试显示,Clover-35B-A3B-Preview 在智能体编程等关键任务上,表现超过同类模型 Mercury 2.5 和同尺寸自回归模型 Qwen3.6-35B-A3B,生成速度最高可达后者的 5-10 倍。相比上一代模型,Clover 参数扩大 5 倍且速度不变、智能更强,显示出 dLLM 范式的规模化潜力。

10 月 28 日,扩散智能 DiffuSpace 发布并开源最新模型 Clover-35B-A3B-Preview,采用 MoE 架构,总参数 350 亿、激活 30 亿。测试显示,Clover-35B-A3B-Preview 在智能体编程等关键任务上,表现超过同类模型 Mercury 2.5 和同尺寸自回归模型 Qwen3.6-35B-A3B,生成速度最高可达后者的 5-10 倍。相比上一代模型,Clover 参数扩大 5 倍且速度不变、智能更强,显示出 dLLM 范式的规模化潜力。

扩散语言模型(dLLM)属于区别于 GPT、Claude 等主流自回归模型模型之外的另一种大语言模型范式,与自回归模型「从左至右」逐个生成 Token 不同,dLLM 可进行全局生成和并行解码,具备更强的逻辑规划和全局一致能力,并在推理速度上远超自回归模型。

在 DiffuSpace 展示的官方 Demo 中,Clover 呈现出显著的速度优势:当模型需要从 20 条空管报文中提取地点与半径,为无人机在三维地图上设置相应禁飞区时,Clover 仅用 7.32 秒即完成处理,而作为照的 Qwen3.5 耗时达 62.3 秒。其技术博客显示,在内部测试中,Clover-35B-A3B-Preview 实现了 680 tokens/s 的整体生成速度。

有开发者在 WindTunnel 测评发现,在 49 项任务测试中,Clover 的中位执行时间为 1.52 秒,而惯以速度著称的 Jev 模型+Mercury2.5 组合中位执行时间达到 3.21 秒,是 Clover 耗时的 2.1 倍。

据团队公布的评测结果,Clover 在六项 Agent 评测中均取得所列模型的最高分,其中 SWE-bench Verified、Terminal-Bench 2.1 和τ³ Overall 分别达到 73.6、51.7 和 65.3,超过 Mercury 2.5 和同尺寸 Qwen3.6-35B-A3B。在通用能力方面,Clover 在指令遵循、知识、逻辑推理和长文本理解等多项评测中达到或超过同尺寸自回归模型。

更快更强背后是 Clover 对门控 Delta 网络(GDN)进行的结构性重构:通过递归状态高效压缩历史上下文,以双向注意力实现块内 token 的细粒度交互,让模型自主选择历史记忆与块内信息。结合可学习的块大小校准和双向局部特征提取,模型结构更贴合块级并行去噪,为 dLLM 在大参数下兼顾能力与效率提供了新的技术路径。

DiffuSpace 官方博客显示,下一步,还将推出基于 Clover-35B-A3B-Preview 的决策模型和多模态模型。据介绍,决策模型将面向快速、结构化的判断任务,可在一次生成中联合处理最多 8 个关联问题。和 TypeSafe Jev 或其他开源决策模型不同的是,相比于单点处理,能够「全局统筹」,在多个判断中相互参照、避免逻辑冲突。

目前,Clover-35B-A3B-Preview 模型权重与相关代码已在 Hugging Face 和 GitHub 发布,支持 SGLang 和 llama.cpp 推理。开发者可下载部署、构建应用或开展进一步研究,也可通过 chat.diffuspace.ai 申请在线体验。

资料显示,扩散智能 DiffuSpace 是全球最早投入扩散语言模型研究的团队之一,由港大 NLP 实验室联合主管孔令鹏教授及其博士生龚珊三、叶佳成联合创立,落地深圳,曾先后推出 DiffuSeq、Dream 7B 等研究成果。近期,DiffuSpace 连续完成两轮融资,总金额数亿元人民币,创全球扩散语言模型(dLLM)最大规模融资纪录,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。

今年以来,扩散语言模型的研究与产业探索持续升温。2026 年前 9 个月,相关论文总数已达 2025 年全年的 2.5 倍;多家科技企业持续加码 dLLM:Google 推出 Gemini Diffusion,蚂蚁集团发布 LLaDA 系列,Inception 持续迭代 Mercury 系列模型。有行业观点认为,dLLM 或将在未来两年取代自回归模型。

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。