单张 Tesla P40 调优 Ornith 1.5 35B-A3B：262k 上下文下短文本约 60 t/s、100k 深度约 30 t/s

原标题：Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.

作者用一张 Tesla P40 24GB（PCIe x1）加自建 llama.cpp fork 调优 Ornith 1.5 35B-A3B（qwen3.5 MoE 架构），坚持 Q4 权重和 q8_0 KV 不再压量化，跑满 262k 上下文。有效手段包括关闭 ECC 提升约 9% decode、用 dp4a 加速 flash-attention 使 prefill 在 32k 提升 26%、100k 提升 41%，以及修正未训练 MTP head（draft 接受率从约 45% 升到 60-85%）、限制 MTP 只读 prompt 末 8k。实测无 MTP 时 decode 从 60.8 t/s（0 深度）降到 29.1 t/s（100k），MTP 实际服务器下短 prompt 65-74 t/s，101k prompt 读取约 415 t/s、生成 35-39 t/s，作者表示可分…

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。