AI 红队测试入门：在攻击者之前找到模型的弱点

一个模型发布之前，最该问的问题不是「它有多聪明」，而是「它会怎么坏」。AI 红队测试就是系统回答后一个问题的工程方法：组织内部成员或外部专家扮演攻击者，在真实攻击者动手之前，把模型的失败模式找出来、量出来、修掉。三个结论先放在前面。第一，红队测试不能证明安全——它只能证明「被测过的攻击路径暂时走不通」，它生产的是证据，不是合格证。第二，自动化与人工缺一不可：自动化把已知攻击模式跑成规模，人工探索负责发现没人想过的失败方式，微软 AI 红队在百余个产品的实战总结里把这两条并列为核心经验。第三，没有度量与修复闭环的红队只是表演：发现不进回归集、修复不经验证，测试做得再热闹，风险原封不动。本文事实性陈述均来自 2026-10-29 之前可查的公开资料，观点与事实分开表述。

什么是 AI 红队测试

与传统渗透测试的异同

红队的概念来自军事演练与网络安全：一支独立小队模拟真实对手攻击己方系统，暴露防御盲区。传统渗透测试的对象是网络与应用，目标是拿到权限或数据；AI 红队的对象变成了模型以及围绕模型的整套系统——系统提示词、检索内容、插件与工具、上下游接口。两者的差异体现在每个环节。

维度	传统渗透测试	AI 红队测试
目标	拿到权限、数据或控制权	触发有害输出、错误行为或政策违规
系统性质	确定性，漏洞可复现	概率性，同一输入多次采样结果可能不同
攻击手段	扫描器、已知漏洞利用、配置核查	对抗提示、多轮诱导、跨内容注入、工具链滥用
危害定义	边界清晰，入侵即失败	开放式，偏见与错误信息等难以量化
产出	漏洞工单与修复建议	失败模式分类、评估集、缓解措施与回归基线

微软 AI 红队 2025 年 1 月公开的《Lessons From Red Teaming 100 Generative AI Products》把最重要的差异讲得很直白。其一，「不必计算梯度也能攻破一个 AI 系统」——多数有效攻击靠的是类似社会工程的诱导，而不是数学优化。其二，「AI 红队不是安全基准测试」——跑分替代不了对未知失败模式的开放式探索。其三，「大模型放大了既有安全风险，同时引入新风险」——提示注入这类新攻击面叠加在旧问题上。

自动红队与人工红队

维度	自动化红队	人工红队
速度与成本	一次配置批量执行，边际成本低	慢且贵，依赖专家时间
覆盖面	已知攻击模式的大规模变体	未知失败模式与跨领域直觉
可复现性	高，可回归重放	低，依赖测试者经验与状态
典型产出	攻击成功率数据、回归评估集	新的危害假设、边缘场景案例

两者不是竞争关系，而是流水线的上下游：人工探索发现新失败模式，固化成种子用例，自动化再把它跑出成千上万条变体。OpenAI 在 2025 年 3 月公开的外部红队方法论文里描述了同一思路：把人工发现映射到政策条款，转化为可重复的自动化评估，「比等下一次部署更快、更便宜」。

红队找什么：把危害分类学变成测试设计

库内《越狱攻防面地图》已经给出了攻击形态的分类学，本文不重复展开；红队的视角是把它反过来用——每一类危害都要落成可执行、可判定的测试用例。两份权威清单是设计菜单。OWASP 2025 年发布的 LLM 应用十大风险把提示注入列为第一位，其后依次是敏感信息泄露、供应链、数据与模型投毒、不当输出处理、过度代理、系统提示词泄露、向量与嵌入弱点、错误信息与无限制消耗。NIST 2024 年 7 月发布的生成式 AI 风险概况（NIST AI 600-1）列出 12 类风险，从化生辐核信息、混淆（幻觉）、危险内容、数据隐私，到人机配置、信息完整性与价值链集成。

落到测试设计，五个攻击面最值得优先覆盖。

越狱与有害内容。 测试目标不是「能不能骗过模型一次」，而是找出稳定触发政策违规内容的输入模式：单轮对抗提示、多轮逐步升级的诱导、人格扮演、低资源语言绕过。人工红队的价值在于探索政策尚未覆盖的灰区。

提示注入。 库内《一篇读懂提示注入》讲清了根因：指令与数据共用一个通道。红队的测试设计因此不能只打用户输入框——把恶意指令藏进网页、文档、邮件等检索内容里，观察智能体是否执行，才是这类攻击的真实形态。

敏感信息。 三条测试线：系统提示词能否被套出、训练数据能否被提取、会话上下文能否跨用户残留。NIST AI 600-1 建议专门开展隐私红队测试，检查系统是否输出训练数据样本或个人信息。

幻觉与错误信息。 NIST 用「混淆」一词强调生成式模型会以流畅口吻编造事实。测试设计的关键是构造模型「不知道但装知道」的场景，度量虚构率与被纠错率。

智能体的工具滥用。 模型有了工具权限，红队就要测权限边界：能否诱导它调用不该调的工具、越权读写数据、把多步工具链组合出设计之外的行为。库内《给 Agent 上锁》给出的权限与沙箱设计是防御侧答案，红队负责验证锁是否真的锁上了。

方法与工具：从梯度攻击到开放红队网络

自动化攻击方法谱系

近三年自动化红队的演进脉络清晰可见。2023 年 7 月，卡内基梅隆大学等机构的研究者发布 GCG 攻击：在开源模型上用贪心坐标梯度搜索出一段无意义后缀，把它接在有害问题后面能显著提高越狱成功率，而且后缀可迁移——在开源模型上优化的攻击，对 ChatGPT、Bard、Claude 这类黑盒商业模型同样有效。同年 10 月，宾夕法尼亚大学团队提出 PAIR：完全黑盒，用一个攻击模型与目标模型多轮对话、按反馈迭代改写提示，通常不到 20 次查询就能产出越狱。2024 年，Meta 与牛津、多伦多等机构的研究者发布 Rainbow Teaming：把红队建模为质量多样性搜索，用两个模型分别负责变异与评判，黑盒即可系统扫出覆盖多种攻击方式与风险类别的对抗提示，攻击成功率超过 90%，部分提示可迁移到其他模型，生成的对抗数据还能反过来微调以提升模型鲁棒性。

工程框架把论文方法变成了可复用的工具。微软开源的 PyRIT 是这一方向使用最广的框架之一；Azure AI Foundry 提供了集成它的红队智能体，以攻击成功率（ASR）作为核心输出指标。OpenAI 则在 2026 年 7 月披露了内部自动化红队系统 GPT-Red：用对抗自博弈强化学习训练，专攻提示注入，其论文称它找到的成功攻击多于人类红队成员——这是截至 2026-10-29 自动化红队最有力的正面证据，但需要注意，这是 OpenAI 对自家系统的披露。

人工探索与开放红队

人工红队并没有被自动化取代。微软在八条经验中单列「人的因素至关重要」；OpenAI 依靠红队网络组织领域专家按固定格式上报发现——GPT-4o 语音模式会无意模仿用户声音、DALL-E 的色情防御可被「视觉同义词」绕过，这类发现都出自人。Anthropic 的体系更完整：与专注儿童安全的 Thorn、研究极端主义的 GPAHE 等专家组织合作开展政策漏洞测试；与新加坡资讯通信媒体发展局等机构合作多语言多文化红队，覆盖中文、泰米尔语、马来语等；并在 DEF CON 黑客大会的 AI 村连续举办数千人规模的开放挑战赛。产业之外，HackerOne 等众测平台把传统漏洞赏金模式搬到了 AI 攻防面，企业可以按项目采购外部红队能力。

红队工作的完整闭环如下图：从威胁模型出发，人工假设与自动生成汇入执行，触发危害的发现定级入账、未触发的归档为负例，两者共同构成回归集，修复后自动重放，循环往复。

flowchart TD
    A[划定范围与威胁模型] --> B[设计攻击用例：人工假设与自动生成]
    B --> C[执行攻击：自动化批跑与人工探索]
    C --> D{是否触发危害}
    D -->|是| E[记录证据、复现步骤并定级]
    D -->|否| F[归档为负例]
    E --> G[统计攻击成功率与严重度分布]
    F --> G
    G --> H[修复：缓解措施、权限与过滤]
    H --> I[回归：自动重放评估集]
    I --> J{指标是否达标}
    J -->|否| B
    J -->|是| K[发布并持续监测]
    K --> A

评测与度量：把发现变成闭环

攻击成功率要看口径。 ASR 是最常用的指标：成功触发危害的尝试占总尝试的比例。它有两个坑。第一，判分常靠模型当裁判，裁判自身会出错；第二，微软在其红队智能体文档中明确提醒，红队运行「只代表对抗性总体，不包括观察性总体」——ASR 高说明系统面对恶意输入脆弱，不等于普通用户会高频遇到这些输出。再加上模型输出的概率性——同一提示多次采样结果可能不同，Gartner 从业者讨论也指出这使单次结果难以复现——本文的观点是：报告 ASR 必须附带采样次数、裁判口径与置信区间，否则数字没有可比性。

严重度要分级。 不是所有成功攻击等价：诱导模型说一句脏话，与诱导它交出用户数据，严重度差着量级。工程上通常按危害后果分四到五级，从轻微到危急；ASR 与严重度交叉，得出修复优先级矩阵——高成功率高危害的先修。

修复闭环三步。 第一步，把人工发现固化为种子用例，这是 OpenAI 的做法。第二步，自动化生成变体，扩充成可重复的回归评估集——Anthropic 把「从定性到定量」称为这个领域的元挑战，他们给出的路径是专家先探索、再标准化测试方法、最后用模型批量生成输入变体；Anthropic 还采用红蓝循环，用攻击样本微调目标模型，迭代提升鲁棒性。第三步，修复后自动重放评估集，防止旧问题复发。NIST AI 600-1 对这套流程给出了制度性建议：对抗性测试按固定节奏进行，执行红队的人员不应直接参与同一模型的构建以保证独立性，给红队人员的指令与测试证据要留存归档。

企业如何起步：最小可行红队清单

不必一步到位建一支全职红队。下面的清单按投入从小到大排列，前三步是任何规模的团队都能立即做的。

步骤	做什么	产出
1. 定安全政策	白纸黑字写清不允许的内容与行为，红队据此设计用例	风险清单与判定标准
2. 建种子集	收集 50 到 200 条覆盖各风险类别的对抗提示	首个回归评估集
3. 自动化批跑	用 PyRIT 等开源框架批量执行并记录证据	首份 ASR 报告
4. 人工探索场	每个重要版本发布前固定组织一次人工测试	新失败模式与灰区案例
5. 度量与分级	ASR 与严重度交叉定级，高危先修	优先级修复队列
6. 挂发布门禁	红队结论进入发布评审，未回归不发布	制度化闭环

常见误区

当一次性合规勾选。 系统与威胁都在演化，微软八条经验的最后一条就是「AI 系统的安全工作永无完成之日」。发版前测一次就归档，等于没测。
拿 ASR 横向比较模型。 Anthropic 指出行业缺乏标准化红队实践，各家技术、执行与口径都不同，数字不可比。这也是当前的争议焦点：自动化红队测出的到底是模型安全性的差异，还是各家测试集的差异？
只测模型不测系统。 提示注入的实战形态往往打的是检索内容与工具链，模型单独测得再干净，也保证不了系统安全。
迷信自动化。 GPT-Red 与 Rainbow Teaming 展示了自动化的上限，但质疑同样有力：自动化本质上是在已知模式空间内搜索，判分依赖裁判模型，真正新颖的失败模式仍要靠人发现。微软把「人的因素」单列为一条经验，可以看作对这场争论的正面回答——本文采信的结论是互补而非替代。
忽视测试者伤害。 OpenAI 的论文专门列出：红队成员长期接触有害内容可能受到心理伤害，对边缘背景成员尤甚，需要心理支持、公平报酬与知情同意。这条对内部红队同样适用。
修复后不回归。 Red Hat 的工程实验显示，仅凭一个简单的系统提示词覆盖，就有超过一半的对抗提示绕过其测试对象的基线防御——修复与验证不闭环，防御形同虚设。

参考资料

Lessons From Red Teaming 100 Generative AI Products — 微软 AI 红队对百余个生成式 AI 产品的实战总结，八条经验是本文方法论部分的主要依据。
OpenAI's Approach to External Red Teaming for AI Models and Systems — 外部红队从招募到数据合成的全流程，以及对时效性、参与者伤害等局限的坦率讨论。
Challenges in Red Teaming AI Systems — Anthropic 对人工、自动化与开放式红队的实践披露，「从定性到定量的元挑战」出自此文。
NIST AI 600-1: Generative AI Profile — 12 类生成式 AI 风险与红队相关的行动建议：固定节奏、独立性、留档。
OWASP Top 10 for LLM Applications 2025 — 设计测试用例时最常用的危害分类清单。
Universal and Transferable Adversarial Attacks on Aligned Language Models — GCG 攻击原始论文，自动化对抗后缀研究的起点。
Jailbreaking Black Box Large Language Models in Twenty Queries — PAIR 论文，黑盒自动越狱的代表作。
Rainbow Teaming — 用质量多样性搜索做系统化自动红队，对抗数据可反哺微调。

本文为安全科普，不构成合规建议。