开源推理引擎 kapitsa 发布:树式投机解码共享验证,qwen3.8-27b 三路并发吞吐提升 23%
原标题:local subagents on a mac: three requests share one verify pass, +23% throughput on qwen3.8-27b
作者发布开源 Mac 推理引擎 kapitsa,将投机解码改为树式(kflash),多个并发请求可共享同一次验证,qwen3.8-27b 三路并发总吞吐提升 23%。共享系统提示词的新请求首 token 从 1.9s 降到 0.06s(4b 实测);单流在 M4 Pro 为 63 tok/s、M5 Max 为 140 tok/s,提供 localhost 的 OpenAI 与 Anthropic 兼容 API,并可一键接入 Claude Code。
为什么值得看
原文给出了可复现的本地推理方案和实测数字,开发者可据此评估 Mac 上多智能体并发吞吐的提升。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。