System 1 决策模型基准测试:tev1、Jev、pplx-decider-v1.2、Liquid d1.1 对比 9B LLM 做智能体路由与工具门控
原标题:What we learned benchmarking System 1 decision models (tev1, Jev, pplx-decider-v1.2, Liquid d1.1) vs a 9B LLM for agent routing and tool gating
作者对其开源多智能体框架中的路由与工具门控做了基准测试,一次性向 System 1 决策模型提出 40 个正交是/否问题(5 个专家路由、25 个子意图、5 个会话排除、5 个承诺门控)。托管 API 并行评测(TypeSafe jev-1.14.0、OpenRouter pplx-decider-v1.2、liquid/d1.1 等)在 159–319 ms 内完成 40 问,每轮成本 $0.000028–$0.00006,LLM fallback 率从约 15% 降到 0%,jev-1.14.0 与 pplx-decider-v1.2 在 24 轮测试上 100% 准确;本地 Ollama tev1 4.3B Q8_0(RTX 4070 Ti SUPER)因按 -np 16 分波评测,自动切换为 5 专家问+1 承诺门控的精简拆分,单门控 27 ms,未见过路由测试集 56/56 全…
作者以自建 harness 实测多款 System 1 决策模型的路由延迟与准确率,并给出何时该改用确定性查找的门槛,方法可直接迁移。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。