Qwen 发布实验性预览模型 Qwen3.8-Flash-Next,为 Qwen4 架构探路
原标题:Qwen/Qwen3.8-Flash-Next (image-text-to-text)
千问(Qwen)发布实验性架构预览模型 Qwen3.8-Flash-Next,称其将支撑 Qwen4 架构。模型为图像-文本到文本,总参数 125B(激活 6B,另有 51B n-gram 嵌入和 4B MTP),引入 Qwen Sparse Attention(QSA)、Gated Residual 和 N-gram Embedding,原生上下文 262,144 tokens,可扩展至 1M;官方称 QSA 在微块层面操作以显著降低长上下文延迟,权重兼容 Transformers、vLLM、SGLang,基于该架构的正式版本 Qwen3.8-Flash 由 Qwen Cloud 提供。
原文给出 QSA、Gated Residual 和 N-gram Embedding 等架构细节与参数规格,读者可以了解 Qwen4 前置架构的技术取向。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。