r/LocalLLaMA· 工具· 2026年10月29日 14:59

libstrix 为 vLLM 发布 Strix Halo 专用内核，64k 长上下文 prefill 最高提速 31 倍

原标题：Strix Halo-specific kernels for vLLM: up to 31× faster prefill at 64k, plugs into stock vLLM

作者为 AMD Strix Halo（Radeon 8060S，gfx1151，128GB 统一内存）编写专用 HIP 内核，封装为 vLLM 插件 libstrix，通过 pip 安装即可启用，无需 fork 或补丁。64k 上下文 prefill 最高提速 31 倍（Qwen3.6-35B-A3B bf16 从 260 到 2,617 tok/s），256k prompt 的 prefill 时间从约 7,568 秒降至约 4 分钟。内核覆盖 MoE GEMM、attention prefill/decode、Qwen GDN 层及 int8/int4/MXFP4 线性层，仅在 ROCm + gfx1151 下生效，可用 STRIX_DISABLE=all 做 A/B 对比。KLD 对比显示 Qwen 模型精度在噪声水平，Gemma-4-26B 漂移较大（KLD 约 0.2）；部分模…

为什么值得看

作者实测数据齐全，还说明了 decode 收益有限和 MXFP4 基线偏弱的局限，读者可按需评估是否适用。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。

事件综述

libstrix 为 Strix Halo 优化 vLLM 内核并发布一键 Docker 镜像

2026年10月29日，r/LocalLLaMA 有帖称，开发者为 AMD Strix Halo（Radeon 8060S，gfx1151，128GB 统一内存）编写专用 HIP 内核，封装为 vLLM 插件 libstrix，pip 安装即可启用，无需 fork 或补丁。据该帖，64k 上下文 prefill 最高提速 31 倍（Qwen3.6-35B-A3B bf16 从 260 提升到 2,617 tok/s），256k prompt 的 prefill 时间从约 7,568 秒降至约 4 分钟；内核覆盖 MoE GEMM、attention prefill/decode、Qwen GDN 层及 int8/int4/MXFP4 线性层，仅在 ROCm + gfx1151 下生效，可用 STRIX_DISABLE=all 做 A/B 对比。精度方面，Qwen 模型 KLD 在噪声水平，Gemma-4-26B 漂移较大（KLD 约 0.2）。次日（10月30日）后续帖称，作者发布一键 Docker 镜像 ghcr.io/asf0/strix-vllm:latest，内置 vLLM fork、libstrix 插件和 ROCm 10.1，宿主机只需 amdgpu 驱动即可运行。新增 Qwen3.8-Flash-Next 支持：其 102 GB n-gram 表无法与权重同驻 128 GB 内存，作者通过 fork 从磁盘流式读取并预取到 page cache 解决；实测 libstrix 相比 stock vLLM prefill 从约 827 提升到约 1,660 tok/s，配合 MTP 2 在 5.6k–100k 提示下达到 1,539–1,617 tok/s prefill 和 40–43 tok/s 解码，KLD 0.008–0.019，GSM8K 93 vs 92。以上数据均出自帖子作者自述，尚无第三方验证报道。