Nanbeige4.3-33B GGUF 量化版发布,AD 文件在同体积下精度优于 llama.cpp 预设
原标题:Nanbeige4.3-33B Quantised GGUF
AtomicChat 发布 Nanbeige4.3-33B 的 GGUF 量化文件,该模型为 33B 稠密 Agent 与推理模型,Llama 架构、512K 上下文、默认开启思考模式,Apache-2.0 协议。作者基于 BF16 原始权重自建重要性矩阵制作 AD(Atomic Dynamic)系列量化,从 13.7 GB 到 30.1 GB,并附各文件的 KL 散度与 top-1 数据;指出该模型对量化较敏感,AD 文件在同体积下优于 llama.cpp 预设,如 AD-IQ4_XS(20.3 GB)的 KL 散度比 Q4_K_M(20.1 GB)低约三分之一,建议 4 bit 以下量化仅在显存不足时使用。
作者给出了各量化文件在统一基准下的 KL 散度和 top-1 数据,可帮助读者按磁盘体积选择合适的 GGUF 版本。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。