AIsaAIsaStudio English 打开 AIsa Studio

System 1 决策模型基准测试:tev1、Jev、pplx-decider-v1.2、Liquid d1.1 对比 9B LLM 做智能体路由与工具门控

原标题:What we learned benchmarking System 1 decision models (tev1, Jev, pplx-decider-v1.2, Liquid d1.1) vs a 9B LLM for agent routing and tool gating

作者对其开源多智能体框架中的路由与工具门控做了基准测试,一次性向 System 1 决策模型提出 40 个正交是/否问题(5 个专家路由、25 个子意图、5 个会话排除、5 个承诺门控)。托管 API 并行评测(TypeSafe jev-1.14.0、OpenRouter pplx-decider-v1.2、liquid/d1.1 等)在 159–319 ms 内完成 40 问,每轮成本 $0.000028–$0.00006,LLM fallback 率从约 15% 降到 0%,jev-1.14.0 与 pplx-decider-v1.2 在 24 轮测试上 100% 准确;本地 Ollama tev1 4.3B Q8_0(RTX 4070 Ti SUPER)因按 -np 16 分波评测,自动切换为 5 专家问+1 承诺门控的精简拆分,单门控 27 ms,未见过路由测试集 56/56 全…

为什么值得看

作者以自建 harness 实测多款 System 1 决策模型的路由延迟与准确率,并给出何时该改用确定性查找的门槛,方法可直接迁移。

阅读原文 ↗

本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。

事件综述

LiquidAI 开源决策模型 d1 系列发布与实测

2026 年 11 月 2 日,LiquidAI 发布开源决策模型 d1-2B。据 Hugging Face 热门模型页面报道,该模型基于 LFM3-VL-2B 构建,参数量 1.92B,支持文本、图片和视频输入,在单次前向中输出带概率的类型化答案而不生成 token;上下文 128K tokens,支持含中文在内的 16 种语言,号称在超过一百个决策基准上领先开源 d1 系列;在 NVIDIA H100 上每次决策 5.7 ms,AMD MI325X 上 3.8 ms;除分类外还可对文本、数字、日期做带 span 的抽取、图片物体定位和区间数量估计,采用 LFM Open License v1.0。同日稍晚,Reddit r/AI_Agents 上有用户发布了独立基准测试(后续进展):在其开源多智能体框架中,将 System 1 决策模型用于路由与工具门控,一次性向模型提出 40 个正交是/否问题(5 个专家路由、25 个子意图、5 个会话排除、5 个承诺门控)。托管 API 并行评测涵盖 TypeSafe jev-1.14.0、OpenRouter pplx-decider-v1.2、liquid/d1.1 等,40 问在 159–319 ms 内完成,每轮成本 $0.000028–$0.00006,LLM fallback 率从约 15% 降至 0%,其中 jev-1.14.0 与 pplx-decider-v1.2 在 24 轮测试上达到 100% 准确。本地评测使用 Ollama tev1 4.3B Q8_0(RTX 4070 Ti SUPER),因按 -np 16 分波评测,自动切换为 5 专家问 + 1 承诺门控的精简拆分,单门控 27 ms,未见过路由测试集 56/56 全对。目前事件为模型发布加第三方实测,尚无更多官方跟进。

其他来源的报道 1