October 六款热门模型 Agent 编码任务横评:最被热议的 Flint 仅通过 1/5
原标题:October's best models review: I put the month's 6 hottest models through the same agent tasks. The most hyped one passed 1 of 5
作者用 Atomic Agent 0.6.13 云端模式通过 OpenRouter 对 10 月发布的 6 款模型各跑 5 个带隐藏陷阱的编码任务,每任务限时 10 分钟。DeepSeek V4.1 Flash、Claude Haiku 5.5、Gemini 4 Argon、Kimi K3.1 Pro、GPT-6.1 Terra 均 5/5 通过;DeepSeek V4.1 Flash 五个任务共 0.02 美元且中位耗时 14 秒,GPT-6.1 Terra 花 0.65 美元,价差约 30 倍。被热议的 Recursive Flint(免费档,厂商宣称 SWE-bench Verified 74.2)仅通过 1/5,一个任务耗时 8 分钟;作者提醒其免费端点当天频繁报错并多次返回 503,换第二个 agent 复测未能完成。
作者用同一组带陷阱的小型编码任务实测六款新模型,给出了通过率、耗时与成本的原始对比数据。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。