单张 RTX 5090 上七款 Qwen 3.8 FN 推理引擎实测对比

Qwen3.8-Flash-Next 预览发布后社区多平台部署实测

2026-10-18，千问发布实验性架构预览模型 Qwen3.8-Flash-Next，称其将支撑 Qwen4 架构。官方介绍该模型为图像-文本到文本，总参数 125B（激活 6B，另有 51B n-gram 嵌入和 4B MTP），引入 Qwen Sparse Attention（QSA）、Gated Residual 和 N-gram Embedding，原生上下文 262,144 tokens，可扩展至 1M；权重兼容 Transformers、vLLM、SGLang，基于该架构的正式版本 Qwen3.8-Flash 由 Qwen Cloud 提供。随后社区出现多批部署实测：10 月 19 日，u/dead-fish 在两块 CMP 170HX（PCIe Gen2 x4）上用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和 MTP 投机解码，实现 8 并发聚合吞吐 840 tok/s（单请求 116 tok/s、首 token 231 ms），prefill 6300–7100 tok/s，并开源配方、Docker 镜像和补丁。10 月 21 日，有作者在 Linux（Fedora 44）单张 RTX 5080 16GB 上用 Strata v0.2.1 实测 IQ3_XXS 量化模型，64K 上下文解码 150 tok/s，并记录了 GCC 16 编译问题的解法。10 月 23 日，Basalt 开发者在单张 RTX 5090 上用同一 NVFP4 checkpoint 对比七款推理引擎（Basalt、Infernix、capy-flash、Strata、ninfer-ext、ninfer、llama.cpp），结果 Basalt 与 Infernix 领先，Basalt 在 prose 和对话解码上快约 10%，llama.cpp 因关闭 MTP 仅作参考；同日另一作者在 RTX 3070 上用 Strata 跑 IQ3_S 量化模型，实现约 1000 tps prefill、40 tps decode。目前该模型的部署优化仍在社区持续推进。