2.3 MB LoRA 在运行时实现 Qwen3.8-Flash-Next 消融,替代 158.3 GB 完整模型下载
原标题:Why download abliterated Flash Next models when LoRA exists?
u/returnity 发布一个 2.3 MB 的 rank-1 LoRA,可在运行时对 Qwen3.8-Flash-Next 施加 huihui 的 v2 消融处理,替代单独下载 158.3 GB 的完整消融模型。在 Unsloth UD-Q5_K_XL 上测试,harmful_behaviors 和 JailbreakBench 上的拒绝数与 huihui v2 无显著差异,与 huihui 的 WikiText-2 KLD 仅 0.016,工具调用不受影响,额外内存 < 0.1 GiB。通过 llama.cpp 的 --lora-init-without-apply 可按请求启用:默认保持原模型行为,仅在拒绝时重新发送请求并挂载 LoRA。
为什么值得看
原文提供了 LoRA 与完整消融模型在拒绝率和 KL 散度上的对比数据,并给出按请求启用的 llama.cpp 用法,可迁移到本地部署。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。