开源 AI 安全工具箱：Garak、PyRIT 与红队工程师的瑞士军刀

红队工程师的瑞士军刀

AI 安全的红队工作曾经是「手工活」——手工构造越狱、手工测试注入、手工整理攻击案例（红队入门篇的团队形态）。2024-2026 年，开源社区与厂商实验室把这个工种「工业化」了：自动化的红队框架（批量执行攻击、自动评估响应、输出安全报告）成为标准装备。

这篇盘点主流的开源工具：它们能做什么、不能做什么、以及「工具好找、用得好的很少」的现状与破局。

工具盘点：四类装备

类型一：LLM 漏洞扫描器（自动化越狱与注入测试）。Garak（NVIDIA）——「LLM 的 nmap」（对标网络安全的 nmap——「探针（probe）的体系」：内置数百种攻击探针（越狱、提示泄露、毒性、幻觉的探针——「探针」的组织方式（每类攻击一个探针集、探针可自定义扩展——Garak 的使用姿势（对目标模型跑全量探针、输出按风险分类的报告——「扫描 ≠ 红队」（Garak 的自动化扫掉「已知的弱」，红队攻「未知的强」——扫描是红队的起点不是全部）。PyRIT（微软）——Microsoft 的 AI 红队框架（Python Risk Identification Toolkit——「PyRIT 的特色：自动化编排」（攻击策略的自动化循环（用 LLM 生成攻击变体、自动评估响应、迭代优化攻击——「AI 攻 AI」的自动化红队——PyRIT 的多轮攻击编排（单轮攻击不够时自动多轮迭代——「自动多轮」是 PyRIT 对手工红队的最大增量（人手工做十轮对话攻击很慢，PyRIT 自动跑一千轮）。promptfoo——开发者友好的提示测试框架（「promptfoo 的定位」（轻量、CI 友好——「进流水线的评测工具」（MLSecOps 篇的 CI 集成——promptfoo 的声明式配置（测试用例的 YAML 声明——「promptfoo 在 CI 里」（每次提示词变更自动跑测试集——开发者日常的「第一件装备」。

类型二：对抗样本与鲁棒性工具。文本对抗（TextAttack 类框架——文本对抗样本的生成与研究（学术研究的工具——「对抗样本在 LLM 上的迁移」（图像对抗的成熟 vs 文本对抗的新兴——字符级与语义级的对抗扰动。类型三：数据与供应链安全工具。模型文件的扫描（pickle 反序列化的静态扫描——模型供应链安全篇的工具化（模型仓库的扫描、权重的哈希校验——「模型文件的杀毒软件」的雏形。类型四：评测基准与框架。安全评测基准的集合（SafetyBench、安全性基准的开源集——「评测基准的资产化」（安全评测维度篇的评测维度有了开源的基准实现——「用公开基准的风险」（公开基准被过拟合（模型「刷安全榜」——「私有评测集」的必要性（公开基准+私有评测集的组合——红队篇的测试集资产化。

graph TD
    A[开源 AI 安全四类装备] --> B[漏洞扫描器<br/>Garak: LLM 的 nmap<br/>PyRIT: 自动多轮红队]
    A --> C[对抗样本工具<br/>TextAttack 类 · 研究向]
    A --> D[供应链安全<br/>模型文件扫描 · 哈希校验]
    A --> E[评测基准框架<br/>promptfoo: CI 友好<br/>基准资产化]

「工具好找、用得好的很少」的现状

现状一：工具的「跑通」与「用好」的鸿沟。跑通（pip install + 对目标跑一遍——出一份报告）——「跑通」的陷阱（把扫描报告当红队结论——「扫描报告的假安全感」（探针全过≠安全（探针覆盖的是已知攻击——「跑通」与「用好」的差距在「解读」：报告的解读需要攻击者的思维（探针没测到的盲区在哪、报告里的「通过」可信吗（目标模型会不会对探针「过拟合」——「过拟合探针」的风险（模型可能对公开探针训练过——「私有探针」的红队价值。现状二：企业红队与工具的整合率低。多数企业的红队还是手工（「手工红队」的产能瓶颈（手工攻击的覆盖面窄、不可重复——「手工+工具的混合姿势」：工具扫基础面（Garak 的探针扫描）、手工攻创造面（新攻击面的探索）、PyRIT 编自动化攻击（多轮迭代——「三层红队」的产能组合。现状三：评测与攻击的闭环缺失。工具产出报告 → 报告进修复 → 修复后回归测试——「发现-修复-回归」的闭环（MLSecOps 篇的门禁——工具的产出物要进流水线（promptfoo 进 CI、Garak 的结果进回归集——「工具不是孤岛，是流水线的一环」。

工具选择的决策框架

按团队阶段选工具：起步阶段（promptfoo + 公开评测基准——「起步三件套」：promptfoo 的基础测试集+Garak 的扫描+人工抽查——一周内可落地）；成熟阶段（PyRIT 的自动化多轮+私有评测集+CI 集成——「成熟三件套」：私有探针集的构建+自动多轮攻击+门禁集成——「私有探针集」（自己沉淀的攻击用例库——不公开、不泄露——「攻击用例库」是红队的核心资产）；研究阶段（对抗样本框架+自定义探针——学术与研究向。按产品形态选工具：对话类产品（越狱与内容安全的探针为主——Garak 的毒性/越狱探针+PyRIT 的多轮）；Agent 类产品（间接注入与工具滥用的探针——「Agent 的探针」（注入的工具调用测试——Garak 的注入探针+手工的 Agent 场景构造——Agent 的红队工具生态仍在早期（「Agent 红队工具」的空白——多 Agent 场景的自动化攻击工具还是蓝海）；RAG 类产品（知识库投毒与检索注入的测试——数据投毒篇的检测工具化。

工具生态的进阶：工具的局限与「评测的工业化」

开源工具生态的进阶：工具的固有局限与「评测工业化」的方向。工具的固有局限：「工具的黑箱盲区」：扫描器对未知攻击的盲区（Garak 的探针测已知的攻击——「未知的未知」（unknown unknowns——工具只能发现「它知道怎么找的」——「零日越狱」（新发明的越狱手法——工具的更新滞后于攻击的创新——「攻击创新的领先期」（新攻击从出现到进工具的时间差——「领先期内的裸奔」——这段时间只有手工红队能防——「手工红队」的不可替代性在工具时代反而上升。「工具的对抗适应」：模型对公开工具的适应（模型训练中见过公开探针——「公开探针的失效」（模型对公开基准的过拟合——「私有化」的必然（评测集与探针的私有化——「私有与公开的分层」（公开的工具框架+私有的探针与数据——「框架开源、弹药私有」是工具使用的成熟形态。评测的工业化：「评测的工厂化」：评测的标准化流水线（「评测流水线」的组件：目标接入（评测对象的标准接口）、探针调度（攻击用例的批量执行）、结果评估（自动评估+人工抽检）、报告生成（风险的分级报告——「评测流水线」的工厂隐喻——「评测的产能」（单位时间可评测的模型/应用数——「评测产能」的规模化（评测自动化带来的产能提升——「产能」的产业意义（评测不再是稀缺的手工活，是可规模化的服务——「评测工厂」的商业模式（评测即服务（EaaS——「评测即服务」的市场（企业买评测产能——「评测产能」的合规认可（评测结果的监管认可——「认可的评测」才是有效评测——评测工厂+监管认可的组合是评测产业化的终点形态。「工具的伦理使用」：攻击工具的双刃（红队工具被攻击者使用（「工具的双刃」（Garak/PyRIT 也能被攻击者用（对目标的攻击自动化——「攻击者用工具」的现实（工具是中性的——「工具的获取门槛」（开源=攻击者也能获取——「防御的先行」（防御者要用工具走在攻击者前面——「工具的时间差」（防御者的工具使用领先于攻击者的时间差——「时间差」是防御的窗口——防御者越早用工具、窗口越大——「工具普及的时间差」在收窄——攻击者的工具采纳速度越来越快——「防御者的工具军备」必须是持续投入而非一次性建设。工具生态的进阶总结：工具的固有局限（未知盲区、对抗适应、双刃风险）+评测的工业化（评测流水线、评测即服务、监管认可）——工具生态的成熟标志：从「单件工具」到「评测工厂」、从「手工红队」到「三层红队」、从「一次性扫描」到「流水线门禁」——工具不会让红队消失，会让红队的价值从「跑攻击」上移到「设计攻击与解读结果」——价值的上移，就是从业者职业价值的上移。

高频问答：工具生态的边界

收尾前回答三个高频问题。「工具的评测结果能直接给监管吗？」——分情况：「评测结果的监管效力」：自测结果的效力（企业自测的评测报告——「自测报告的效力」（备案的辅助材料、非独立证据——「独立评测」的效力更高（第三方评测的结果——「第三方的独立性」要求（评测机构的资质与利益隔离——「评测机构的独立性」（不卖防御产品+不做被测项目的咨询——「利益隔离」是评测公信力的底线。「工具的报告格式统一吗？」——「报告格式的碎片化」（每个工具的报告格式不同——「格式的统一尝试」（评测结果的标准化格式（JSON 的评测结果 schema——「schema 的统一」的推动（开放的标准 schema——「标准化」的现状：碎片化仍是主流——「格式统一的产业价值」（评测结果的可聚合、可比对——「可聚合」是行业级风险画像的前提——「评测格式标准化」是被低估的基础设施。工具生态的问答收束：工具生态的终极判断——「工具在快速成熟、标准在缓慢跟上」——两者的时间差里，评测的「可读性与可比性」要靠企业自己补——「自建评测结果的标准格式」是小投入大产出的一步——「自己的格式」在行业标准成熟前就是你的标准。

小结

开源 AI 安全工具的版图：漏洞扫描器（Garak——LLM 的 nmap、PyRIT——AI 攻 AI 的自动多轮、promptfoo——CI 友好的轻量评测）、对抗样本工具（研究向）、供应链安全（模型文件扫描）、评测基准（资产化+私有集的必要）。现状的核心判断：「工具好找、用得好的很少」——跑通报告容易，解读与闭环难——「扫描报告的假安全感」是最大的坑，「手工+工具的三层红队」是产能的正解。给红队工程师的工具观：工具是放大器，不是替代品——Garak 跑的是已知攻击的覆盖、PyRIT 编的是攻击的自动化、真正的「未知攻击面」仍然要靠人的创造——「工具扫已知、人攻未知、自动化补产能」——这是 AI 红队的三角分工。

nmap 没有让网络安全工程师失业，Garak 也不会——它只是把「对每个目标都要手工跑的基础攻击」自动化了，让人去做只有人能做的事。