Qwen3.8 27B 在 3090 本地韩文 RAG 评测中与 Opus 5.5 基本打平
原标题:qwen3.8 27B on my 3090 basically tied Opus 5.5 on a Korean RAG benchmark, which I did not expect
作者在 3090 上用 Allganize 韩文 RAG 集(300 题、64 份 PDF)测试本地 RAG,qwen3.8 27B 开思考得 77.3%,与 Opus 5.5 的 76.6% 按 McNemar 检验(p=0.82)视为打平,Opus 评审时两者为 80.6% 对 80.3%。Opus 的 70 次失败中仅 25 次是模型问题,22 次是扫描图片无文字层、23 次是检索未命中;BM25 分词从空白切分换成韩文形态学分词器后 hit@5 从 56% 升到 80%,gpt-oss 20B 把 token 上限从 1024 提到 8192 后从 57.5% 升到 69.6%。KRAFTON Raon-1 mini preview(30B MoE,约 4B 激活)约 74-75%、3090 上 96 tok/s,但 temp 0 开思考时在 320 题中有 16 题陷入循环。脚…
作者用同一题集和双评审实测本地 RAG,给出分差区间、失败归因和检索分词差异,方法可复用到自己的韩文文档评测。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。