Atomic Chat 发布 Nous Research Arete-27B 的 GGUF 量化版本
原标题:Nous Research Arete-27B GGUF quants
Atomic Chat 团队发布了 Nous Research Arete-27B(基于 Qwen3.8-27B 微调、Apache-2.0)的 GGUF 量化文件,从 Q8_0(28.6 GB)到 AD-IQ3_S(13.6 GB)共 6 档,并给出按显存选文件的对照表和 llama-server 运行命令。所有 KL 散度与 top-1 数字均为实测,与 bartowski 同尺寸构建相比在 13.6-16.8 GB 档位低 16-23%;文件不含多 token 预测头,支持图像输入需另下载 mmproj 投影文件,并公开了校准语料与复现脚本。
作者自测并公开各量化的 KL 散度、显存搭配和复现命令,读者可按显卡容量直接选文件本地部署。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。