StudioRustingStrata：纯 Rust 推理引擎在 12 GB GPU 上运行 Qwen 模型，Qwen3.8-Flash-Next 快于原版 Strata
原标题：Rust inference engine for Qwen models on a 12 GB GPU, and it runs Qwen3.8-Flash-Next faster than the original Strata
Reddit 用户 u/Serious_Scarcity7818 发布 RustingStrata，一个纯 Rust、无 ggml 的 Qwen GGUF 模型推理引擎，CUDA kernel 用 NVRTC 启动时编译，也支持 Vulkan。它支持 Qwen3/3.5/3.6/3.8 系列、Qwen3-Next-80B-A3B 和 Qwen3.8-Flash-Next，量化从 IQ1_S 到 Q8_0 加 BF16/F16，并通过把放不下的 MoE 专家放到 CPU 运行、动态把常用专家移到 GPU。在 Qwen3.8-Flash-Next IQ2_XS 上，CUDA 解码约 36 tok/s、prefill 平均约 370 tok/s，高于原版 Strata 的 19-22 和 140-146 tok/s；Qwen3.6-35B-A3B Q2_K_XL 解码约 118 tok/s，优…
为什么值得看
作者实测了自研 Rust 推理引擎在 12 GB 显卡上的量化与速度数据，并与 Strata 和 llama.cpp 对比，可作选型参考。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。