Betelgeuse 在 2x 8GB DDR4 + RTX 3060 12GB 上以 24 tok/s 跑通 Qwen 3.8 Flash Next IQ4…

原标题：Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact

Betelgeuse（bel-cli/bel-server）作者回应对上一轮测试的质疑，在 RTX 3060 12GB、16GB 总内存上实测 Qwen 3.8 Flash Next IQ4_XS：单条 16GB 单通道 14 tok/s，双通道 2x 8GB 达 24 tok/s，输出与原版 llama.cpp 100% 字节一致、0 丢失专家。作者将提速归因于独占主机内存 victim cache 加异步硬件 DMA 的架构：双通道让主机带宽翻倍，GPU DMA 可全速从 victim cache 拉取专家权重，同时升级后的 oracle 在后台预取冷 NVMe 数据。对比数据中原版 llama.cpp 在 IQ4_XS 下仅约 0.5-0.6 tok/s。作者还预告正把同一架构移植到 DeepSeek V4.1 Flash (1017)，早期测试约 25 tok/s，并给出 Git…

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。