摘要
Anthropic 公开自动化红队系统 Anvil,用模型模仿人类攻击者探测智能体漏洞。24 组测试中有 23 组找到比人工红队更严重的越狱路径,单次探测耗时 24 至 48 小时,反蒸馏场景仅用 435 次请求就达到人工约 10.22 万次请求的效果。
Anthropic 发布防御性安全系统 Anvil,定位是在模型与智能体上线前自动发现越狱、提示注入与有害输出路径。与人工红队靠经验试探不同,Anvil 让模型自己扮演攻击者,按"目标—策略—尝试"的循环持续施压,直到找出可复现的失效链路。
关键数据
- 有效性:24 组对照测试中,23 组由 Anvil 找到的漏洞严重程度高于人工红队结果。
- 效率:单项探测耗时 24 至 48 小时;反蒸馏探测在 435 次请求内达到与人工红队相当的效果,人工方案约需 10.22 万次请求。
- 对象:测试覆盖 Claude for Excel、Novi 等真实在售产品,而非实验室模型。
- 口径提示:以上数据来自 Anthropic 官方发布说明,尚未见第三方独立复现;Anvil 属防御工具,官方称不对外提供攻击用的模型权重。
行业意义
红队成本被压到人工方案的千分之一量级,意味着安全测试不再是大厂专属流程,中小团队也能在上线前做疲劳测试。代价是攻防节奏同步加快:自动化找漏洞的一方效率提升,利用漏洞的一方也会用同样的方法。对做智能体产品的团队来说,可复现的攻击样本库与回归测试,正取代一次性渗透测试,成为常态化安全工序。
原文出处
Anthropic 官方安全研究发布与 TechDaily 11月14日报道综合。
标签
Claude、AI资讯、大模型动态