DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview
原标题:Diffuspace/Clover-35B-A3B-Preview · Hugging Face
DiffuSpace 发布首个开源扩散语言模型 Clover-35B-A3B-Preview,基于 Qwen3.6-35B-A3B 的 MoE 骨干改造为纯文本块扩散生成,官方称在发布时的开源扩散语言模型中达到报告基准上的 SOTA。模型保留 GDN/full-attention 混合骨干(40 层、256 个路由专家、top-8 路由加共享专家),总参数 35B、每 token 激活约 3B,支持 128K(131,072)上下文。推理采用块扩散加 LowConfidence 解码,默认 block_size=32、threshold=0.95,内置防重复与软性长度/思考结束控制;BF16 权重约 69 GB,支持 SGLang 与 llama.cpp 的自推测解码实现。
原文给出架构细节、解码默认值和显存需求,读者可以据此评估这个开源扩散语言模型的实际部署成本。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。