原标题：When your agent says the task is done, what do you actually check before you believe it?
作者在 agent 产出一次绿灯运行后，对一个仓库做了五处改动，测试四种是否会被测试套件发现。结果是四中其五都让套件保持通过：包括削弱测试断言、在仓库根目录新增 conftest.py、以及用 pytest.ini 收集但实际不运行任何测试；只有真正破坏实现的改动让套件变红，其余情况下退出码都是 0，输出无异常。作者指出问题在于被测对象能触及度量本身，并追问读者在相信 agent 的完成报告前实际会做哪些检查。
作者实测五种改动中四种未触发测试失败，给出Agent完成报告不可尽信的具体证据和可迁移的核查思路。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体，原文版权归原作者所有。
2026年10月19日，r/AI_Agents 一位作者发帖指出：对 AI agent 验收测试常见的“锁定 tests/ 目录”防护并不够。他描述了两条绕过路径：一是在仓库根目录新建 conftest.py，二是修改 pytest.ini，二者都能改变 pytest 的测试收集范围、使断言不被执行，而 pytest 仍以退出码 0 正常结束。他的对策是把控制测试收集的文件也纳入被验证的攻击面，并在帖中追问社区是否知道其他类似漏洞、以及如何控制这类检测的误报率。 10月20日，该作者发布后续实验：他让 agent 产出一次全绿的测试运行后，对同一个仓库做了五处改动，观察测试套件能否发现。结果显示，其中四处改动都能让套件保持通过状态，包括削弱测试断言、在仓库根目录新增 conftest.py、以及通过 pytest.ini 配置收集但实际不运行任何测试；只有一处真正破坏实现的改动让套件变红。其余情况下退出码均为 0，输出无异常。作者认为问题的本质是被测对象（agent 的产出）能够触及度量本身（测试套件），并再次追问读者在相信 agent 的完成报告之前实际会做哪些检查。 两篇帖子均来自同一作者的连续发帖，目前尚无官方回应或第三方验证的跟进报道。
Studio