tandem.cpp 更新:16 GB 显卡 + 64 GB 内存跑 DeepSeek-V4.1,新增 AMD ROCm 支持
原标题:Update: tandem.cpp — DeepSeek-V4.1 on a 64 GB PC with a 16 GB card, and AMD (ROCm) support
作者更新了 llama.cpp 补丁集 tandem.cpp,将热门专家保留在 GPU、CPU 分担其余部分,并新增 AMD ROCm(HIP)支持。在 16 GB 显卡 + 64 GB 内存上,DeepSeek-V4.1-Flash IQ2_XS 解码达 14.2 tok/s,高于原版 llama.cpp 的 7.4;在 16 GB 显卡 + 32 GB 内存的机器上达 34.3 tok/s,远高于 14.9。DeepSeek-V4.1、gpt-oss-120b、GLM-4.5-Air 和 Qwen3.6 均比原版 llama.cpp 提升 1.4–2.1 倍。在 RX 7900 XTX 上与原版 Strata 0.2.9 水平相当;尚不支持 Vulkan。
为什么值得看
作者用统一量化与同一测试条件给出对比数据,读者可据此判断在显存和内存不足的 PC 上能否用这套补丁提速。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。