专题 · TOPIC

AI 安全与攻防

提示注入、越狱与沙箱:把模型当攻击面来防守

模型一旦接入工具与外部数据,就同时继承了外部世界的攻击面。这个专题从防御者视角讲清 AI 安全:提示注入的攻击路径、越狱的类别与防线、Agent 的权限与沙箱设计、数据泄漏风险——只讲原理与防守,不提供武器。

已收录 15 篇 · 持续更新 · 关键词:#AI安全 #提示注入 #越狱 #红队测试 #智能体安全 #数据安全
导读 · 本站原创 · 研究前沿

模型安全怎么量:安全评测的维度与指标

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
来源:原创2026-10-06阅读 0·访客 0
阅读全文 →

系列文章

ARCHIVE 共 15 条
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
原创 研究前沿 精选 · 本站原创 · 9-14 阅读 283·访客 164
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。
原创 行业动态 精选 · Dario Amodei / Anthropic · 9-14 阅读 153·访客 85
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
原创 行业动态 精选 · 本站原创 · 9-12 阅读 336·访客 169
← 上一页 第 2 / 2 页 · 共 15 条