实测 Qwen3.5 9B 与 Gemma 4 E4B 在 RTX 3060 12 GB 上的显存占用,并推出免费模型适配计算器
原标题:I measured how much VRAM Qwen3.5 9B and Gemma 4 E4B really use on a 3060 12 GB, and built a free calculator around it
作者用 LM Studio(llama.cpp CUDA)在 RTX 3060 12 GB 上实测 Q4_K_M、全量 GPU offload 下的显存占用:Gemma 4 E4B 在 4K 上下文占 4.51 GB、速度 74 tok/s,Qwen3.5 9B 占 6.66 GB、54 tok/s,Qwen3.8 27B 装不下(9.5 GB 进 GPU、其余在内存、仅 5.4 tok/s)。混合注意力模型随上下文增长很慢,Qwen3.5 只在 32 层中的 8 层保留 KV cache(约 0.034 GB/1K token),Gemma 4 E4B 约 2.8B 的 per-layer embeddings 被 llama.cpp 放在系统内存。作者据此做了一个免费浏览器端计算器,覆盖约 40 个模型在 Q4/Q5/Q8/FP16 量化下对 54 种显卡的适配判断,估算误差在 1%…
为什么值得看
作者实测了 Qwen3.5 9B 和 Gemma 4 E4B 在 RTX 3060 12 GB 上的显存占用,并给出可复用的浏览器端计算器,读者可据此估算本地部署可行性。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。