AIsaAIsaStudio English 打开 AIsa Studio

DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview

原标题:Diffuspace/Clover-35B-A3B-Preview · Hugging Face

DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview,基于 Qwen3.6-35B-A3B 的 MoE 骨干改造为纯文本块扩散生成,官方称在发布时的开源扩散语言模型中达到报告基准上的 SOTA。模型保留 GDN/full-attention 混合骨干(40 层、256 个路由专家、top-8 路由加共享专家),总参数 35B、每 token 激活约 3B,支持 128K(131,072)上下文。推理采用块扩散加 LowConfidence 解码,默认 block_size=32、threshold=0.95,内置防重复与软性长度/思考结束控制;BF16 权重约 69 GB,支持 SGLang 与 llama.cpp 的自推测解码实现。

为什么值得看

原文给出架构细节、解码默认值和显存需求,读者可以据此评估这个开源扩散语言模型的实际部署成本。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview

2026 年 10 月 28 日,DiffuSpace 在 Reddit r/LocalLLaMA 发布开源扩散语言模型 Clover-35B-A3B-Preview。模型基于 Qwen3.6-35B-A3B 的 MoE 骨干,改造为纯文本块扩散生成,保留 GDN/full-attention 混合骨干(40 层、256 个路由专家、top-8 路由加共享专家),总参数 35B、每 token 激活约 3B,支持 128K(131,072 token)上下文。官方称其在发布时的开源扩散语言模型中达到报告基准上的 SOTA。推理采用块扩散加 LowConfidence 解码,默认 block_size=32、threshold=0.95,内置防重复与软性长度/思考结束控制;BF16 权重约 69 GB,提供 SGLang 与 llama.cpp 的自推测解码实现。10 月 30 日,该模型登上 Hugging Face 热门模型,页面信息与此前发布内容基本一致,称其为基于 Qwen3.6-35B-A3B 微调的 35B 参数 MoE 模型。两篇报道仅在'首个开源扩散语言模型'与'首个(该机构)模型'的表述上略有差异,其余技术细节一致。