AIsaAIsaStudio English 打开 AIsa Studio

Qwen 发布实验性预览模型 Qwen3.8-Flash-Next,为 Qwen4 架构探路

原标题:Qwen/Qwen3.8-Flash-Next (image-text-to-text)

千问(Qwen)发布实验性架构预览模型 Qwen3.8-Flash-Next,称其将支撑 Qwen4 架构。模型为图像-文本到文本,总参数 125B(激活 6B,另有 51B n-gram 嵌入和 4B MTP),引入 Qwen Sparse Attention(QSA)、Gated Residual 和 N-gram Embedding,原生上下文 262,144 tokens,可扩展至 1M;官方称 QSA 在微块层面操作以显著降低长上下文延迟,权重兼容 Transformers、vLLM、SGLang,基于该架构的正式版本 Qwen3.8-Flash 由 Qwen Cloud 提供。

为什么值得看

原文给出 QSA、Gated Residual 和 N-gram Embedding 等架构细节与参数规格,读者可以了解 Qwen4 前置架构的技术取向。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

Qwen3.8-Flash-Next 预览发布后社区多平台部署实测

2026-10-18,千问发布实验性架构预览模型 Qwen3.8-Flash-Next,称其将支撑 Qwen4 架构。官方介绍该模型为图像-文本到文本,总参数 125B(激活 6B,另有 51B n-gram 嵌入和 4B MTP),引入 Qwen Sparse Attention(QSA)、Gated Residual 和 N-gram Embedding,原生上下文 262,144 tokens,可扩展至 1M;权重兼容 Transformers、vLLM、SGLang,基于该架构的正式版本 Qwen3.8-Flash 由 Qwen Cloud 提供。随后社区出现多批部署实测:10 月 19 日,u/dead-fish 在两块 CMP 170HX(PCIe Gen2 x4)上用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和 MTP 投机解码,实现 8 并发聚合吞吐 840 tok/s(单请求 116 tok/s、首 token 231 ms),prefill 6300–7100 tok/s,并开源配方、Docker 镜像和补丁。10 月 21 日,有作者在 Linux(Fedora 44)单张 RTX 5080 16GB 上用 Strata v0.2.1 实测 IQ3_XXS 量化模型,64K 上下文解码 150 tok/s,并记录了 GCC 16 编译问题的解法。10 月 23 日,Basalt 开发者在单张 RTX 5090 上用同一 NVFP4 checkpoint 对比七款推理引擎(Basalt、Infernix、capy-flash、Strata、ninfer-ext、ninfer、llama.cpp),结果 Basalt 与 Infernix 领先,Basalt 在 prose 和对话解码上快约 10%,llama.cpp 因关闭 MTP 仅作参考;同日另一作者在 RTX 3070 上用 Strata 跑 IQ3_S 量化模型,实现约 1000 tps prefill、40 tps decode。目前该模型的部署优化仍在社区持续推进。

其他来源的报道 1