AtomicChat 发布 49 GB 量化版 Tencent Hy4-flash,可在 64 GB 显存上运行
原标题:Hy4-flash quants are down from 70 to 49 GB, run on a 64Gb vRAM
AtomicChat 团队发布了腾讯 220B MoE 模型 Hy4-flash 的 49.1 GB GGUF 量化版本,把专家层压到约 2.3 bits、其余 Q8_0,并将 Engram n-gram 表拆成独立文件留在 SSD,使模型可在 64 GB 显存机器上运行。在 4x A100 80 GB 上生成速度约 23-26 tokens/s;带视觉投影器和 32K 上下文时 llama-server 占用 51.4 GB 显存。文件需要尚未合并的 llama.cpp PR #32517(在 0a054d0b 测试通过),现有正式版 llama.cpp、LM Studio 和 Ollama 均无法加载。与腾讯官方最小文件 IQ2-AH(内存中 71.6 GB)相比省 22.5 GB 内存,代价是 top-token 一致率低 1.4 个百分点;该模型量化损失集中,作者判断是微小的舍入…
原文给出与腾讯官方量化的内存和 KLD 对比数据,读者可据此判断这份 64 GB 实验版量化是否值得自己跑。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。