单张 RTX 5090 实测 Qwen3.8 27B：六个推理引擎对比 DFlash2 开关表现

原标题：Qwen3.8 27B on one RTX 5090: six inference engines benchmarked with and without DFlash2

作者在同一张 RTX 5090 32 GB 上对比 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 六个引擎运行 Qwen3.8 27B，测试含 decode 吞吐、32K 长提示、并发请求、截图输入和四轮工具调用循环，均关闭 thinking、greedy 解码。结果上 NInfer 在投机解码和并发吞吐领先（488 tok/s），llama.cpp 纯解码最快（84.2 tok/s），TensorSharp 四路并发达 445 tok/s；32K 提示 NInfer TTFT 3.02 s 最快。作者提醒各引擎用量化 checkpoint 和 drafter 不同，结果反映完整配置而非引擎本身，差异小于 5% 视为不确定，velox 在 JSON-schema 检查三次均失败。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。