AIsaAIsaStudio English 打开 AIsa Studio

Qwen3.8 27B 在 3090 本地韩文 RAG 评测中与 Opus 5.5 基本打平

原标题:qwen3.8 27B on my 3090 basically tied Opus 5.5 on a Korean RAG benchmark, which I did not expect

作者在 3090 上用 Allganize 韩文 RAG 集(300 题、64 份 PDF)测试本地 RAG,qwen3.8 27B 开思考得 77.3%,与 Opus 5.5 的 76.6% 按 McNemar 检验(p=0.82)视为打平,Opus 评审时两者为 80.6% 对 80.3%。Opus 的 70 次失败中仅 25 次是模型问题,22 次是扫描图片无文字层、23 次是检索未命中;BM25 分词从空白切分换成韩文形态学分词器后 hit@5 从 56% 升到 80%,gpt-oss 20B 把 token 上限从 1024 提到 8192 后从 57.5% 升到 69.6%。KRAFTON Raon-1 mini preview(30B MoE,约 4B 激活)约 74-75%、3090 上 96 tok/s,但 temp 0 开思考时在 320 题中有 16 题陷入循环。脚…

为什么值得看

作者用同一题集和双评审实测本地 RAG,给出分差区间、失败归因和检索分词差异,方法可复用到自己的韩文文档评测。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

Qwen 发布 Qwen3.8-27B 原生视觉语言模型,后续社区评测显示其韩文 RAG 表现亮眼

2026-10-18,Qwen 发布 Qwen3.8-27B,称其为 Qwen 开源模型家族迄今最强一代。该模型是基于 Qwen3.5 架构的 27B 稠密原生视觉语言模型,支持图像和小时级视频理解,原生上下文 262,144 tokens,可扩展至 1,000,000 tokens;思考模式默认开启,可按请求关闭;Agent 执行与编码能力提升,兼容 Transformers、vLLM、SGLang 等框架。2026-10-24,r/LocalLLaMA 出现后续进展:一位作者在单张 3090 上,用 Allganize 韩文 RAG 评测集(300 题、64 份 PDF)测试本地 RAG,qwen3.8 27B 开启思考模式得分 77.3%,与 Opus 5.5 的 76.6% 经 McNemar 检验(p=0.82)视为打平;改用 Opus 作评审时两者分别为 80.6% 和 80.3%。分析发现 Opus 的 70 次失败中仅 25 次是模型问题,22 次源于扫描图片无文字层、23 次是检索未命中;BM25 分词从空白切分换成韩文形态学分词器后 hit@5 从 56% 升至 80%,gpt-oss 20B 在 token 上限从 1024 提到 8192 后得分从 57.5% 升至 69.6%。同帖还提及 KRAFTON Raon-1 mini preview(30B MoE、约 4B 激活)约 74-75%,在 3090 上达 96 tok/s,但 temp 0 开思考时在 320 题中有 16 题陷入循环。目前事件为:官方发布模型,社区完成独立评测。