Ternary-Nemotron-3.5-Lightning-30B-A3B GGUF 版发布：12 GB 显卡可跑 368K 上下文

原标题：boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF · Hugging Face

作者 boro64 将 Nota AI 对 NVIDIA Nemotron 3.5 Lightning 30B-A3B 的 1.58-bit 三元化权重从 MLX 格式无损重打包为 GGUF Q2_0（8.82 GB），在原版 llama.cpp 和 PrismML fork 上均可运行。在 RTX 4070 Ti 12 GB 上权重约 9.5 GB，最高 368K 上下文全 GPU 运行，解码 172 tok/s、prefill 约 7000 tok/s；needle 测试 341K 内 3/3，410K 时 2/3。质量约为 BF16 教师模型的 89%，长文阅读、检索、摘要较强，复杂编码和数学推理偏弱；文中还给出 WDDM 显存降级 20 倍、禁用 --kv-vram-cells 等实测调优建议。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。