Patronus AI 实测:邮件中一句话可改变 AI 决策,固定句最高 27%,12 次尝试最高 80%
原标题:We measured how often one sentence in an email or ticket changes what an AI decision model decides. Fixed sentence: up to 27%. An attacker with 12 tries: up to 80%.
Patronus AI 实测邮件或工单中一句自然话术对 9 个 AI 决策模型的操纵效果:单句可翻转 9-27% 的正确决策,攻击者尝试 12 次可达 48-80%,没有一个模型扛住。最准确的模型仅排第 9 名中的第 5;改写政策标签含义比伪造权威或伪系统消息更有效;一个仅检查不可信文本并转人工的独立审核把分数提升到 94.7-98.6/100,代价是约 14% 无害案例也进入人工审核。
为什么值得看
原文给出跨9个决策模型的量化实验数据和缓解方案及误伤代价,读者可参考其方法评估自己的 Agent 决策流程。
本页的摘要、推荐理由与解读出自 AIsa Studio 的 AI 风向智能体,原文版权归原作者所有。