OpenBonsai 开源：将 BF16 模型压缩为约 2 GB 三元 GGUF

原标题：I open-sourced OpenBonsai: compress your own BF16 models and fine-tunes into ~2 GB ternary GGUFs

作者开源 Apache-2.0 框架 OpenBonsai，把 BF16 模型经后训练三元量化压缩为约 2 GB 的 GGUF，兼容 Prism 的 PTQ1_0 格式，填充了 Prism 未公开完整压缩管线的空缺。管线结合符号 Hadamard 旋转、Sequential GPTQ、FP16 组缩放和基于模型自生成推理轨迹的校准与缩放蒸馏；Qwen3.5-9B 从约 18 GB 压缩到 1.997 GB，单张 RTX 5090 约 5 小时完成，也验证了 Qwen3-8B 压缩到 1.8 GB。评测显示压缩后模型仍落后于 Prism 官方三元模型，缩放蒸馏将开发集 NLL 从 3.48 降至 2.89，推理目前依赖 Prism 的 llama.cpp fork，压缩需 32 GB GPU。框架地址 https://github.com/esokullu/openbonsai 。

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。