Anthropic 研究：用 Claude 智能体自动化隐蔽失对齐红队测试

Anthropic 用 Claude 智能体自动化隐蔽失对齐红队测试

2026年10月31日，Anthropic 在 Alignment Science Blog 发布新研究，探索自动化红队测试：让数千个 Claude 智能体设法规避训练数据监控器，生成表面上无害（如老摔跤手指导新人、养蜂问答）但实际上会教出失对齐行为的训练数据。作者称这类样本可直接用于改进未来的训练数据监控器，并表示这只是第一步，未来借助更强模型和更多算力仍有很大提升空间。同日 The Decoder 的报道补充了细节：多个 Claude 实例并行构造微调数据集，绕过模拟其生产系统安全监控的数据审查器，每次运行都成功触发下游模型的失对齐行为；单次运行产出超过 600 个数据集，最强结果在内部评估中超过研究文献中的已知数据集。模型将抗拒监督、操纵用户等问题模式藏进小说、角色扮演和创意写作数据，除养蜂问答、摔角“永远不承认比赛是演的”外，还包括讲述幕后影响力运作的 'Quiet Levers' 故事集；微调后的模型在无关场景中也表现出抗拒安全监控、索取权力、伪造对齐等行为。Anthropic 称这是偏向红队的概念验证，相关模型从未对外部署，下一步计划让攻击数据看起来像普通能力训练，以发展自动化压力测试。