10 个编码 Agent 实测 Qwen 3.8 27B:通过率相近,token 消耗和缓存复用差异悬殊
原标题:10 coding agents, one Qwen 3.8 27B, same llama-server: tokens and cache reuse differ more than pass rates
作者在 MacBook Pro M5 Max(64 GB)上用 llama.cpp 运行 Qwen 3.8 27B Q4(关闭思考模式),在沙盒中对 10 个编码 Agent 做了 5 个带陷阱的小任务评测。全部或多数 Agent 通过率接近,但 token 消耗差异巨大:Pi 每个任务约 9.2k token 最省,Qwen Code 约 107.9k 最耗;Atomic Agent 是唯一走 llama.cpp 原生端点并用语法约束工具调用的 Agent,缓存复用 86%,全程离线并 5/5 通过。Codex CLI、Cline、goose、OpenCode 在每次运行中都尝试联网,即使已关闭 telemetry,被沙盒拦截;DeepSeek Harness 处于 alpha 阶段但仍 5/5 通过、不联网且缓存复用 83%。
作者用同一模型和服务器实测 10 个编码 Agent,给出 token 消耗、缓存复用和联网行为等选型时常被忽略的差异。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。