AI 安全的岗位需求在爆发，但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。

网络安全险（Cyber Insurance）用了二十年把安全从成本变成可保资产。AI 险正在走同一条路：幻觉责任险、AI 治理险、模型失效险——保险业的精算介入，会给 AI 安全带来「市场化定价」的第三道治理力量。

想发表 AI 安全研究、想知道这个领域的学术版图？主流 ML 会议的安全 track、专门的安全会议、跨学科期刊——AI 安全的学术生态是「寄生在 ML 会议里」长出「自己的专场」的过程。

AI 写代码引入了三类新安全面：约两成 AI 建议的包名并不存在（攻击者开始抢注这些「幻觉包名」，术语叫 slopsquatting）、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。

OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。

据报道，Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介，拟设政府干预门槛：可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。

企业 AI 风险的第一现场往往不是「部署了大模型」，而是「员工早已在用」：代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发：政策、数据分级、供应商评估、人机责任四层，给出一份可落地的治理框架。

「AI 会不会取代我的工作」的正确问法是「哪些任务会消失、哪些岗位在重组、哪些新岗位在出现」。历史与当前证据的图景是：岗位的消失是任务级的（渐进的），新岗位的出现在快速生长，而绝大多数人的现实是「技能搬家」——同一个人，把工作中的部分任务换成 AI 协作。本文讲清这个结构的演变逻辑与个人的应对策略。

DevSecOps 把安全装进了软件的 CI/CD，MLSecOps 把同样的哲学装进 AI：模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火，要靠流水线的门禁。

AI 应用在企业里铺开，CISO 的防护对象变了：模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的？给安全从业者转型 AI 安全的知识迁移地图：哪些要带、哪些要学、哪些要放下。

中国监管地图篇讲了备案与合规清单，这篇往下挖一层：标准的体系——全国网安标委（TC260）的《人工智能安全治理框架》、系列安全标准与「法规-标准-实践」的传导机制。理解标准层，才算真正理解中国 AI 安全治理的操作面。

NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+：Landlock 与 seccomp 在内核层管住文件与网络，真实凭据永不下发沙箱，Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。

算力是 AI 的硬通货——而它有一个其他资源没有的特性：极度集中。训练前沿模型需要的芯片、数据中心与电力，掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆：出口管制用它卡能力的扩散，追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

聊 AI 治理不能只聊欧盟与中国：美国的联邦-州双轨博弈、英国的「安全研究所路线」、新加坡的框架治理、G7 与联合国的国际机制——每个辖区都在用不同的哲学回答同一个问题。本文补全全球治理地图上「除中欧外」的部分，看清各条路线的分野与合流。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》，把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开，也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据，追问四个问题：攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。

AI 产品最脆弱的用户是儿童：AI 生成的儿童性虐待材料成为执法机构的新战场，AI 陪伴应用对未成年人的情感操纵引发诉讼，算法推荐把孩子推向有害内容的能力空前。儿童保护在 AI 时代被推到安全议题的最前排——本文讲清风险的三个层面、监管的响应与设计伦理的底线。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

田, 晏林* 2026-10-04 14:05:35 来源：量子位 什么是FDE？它会一直存在吗？ 听雨 发自 凹非寺 量子位 | 公众号 QbitAI FDE**，全网最火热、最神秘的AI岗位之一。 火热在于，不少大厂开出了月薪高达三五…

航空业把每一次事故都变成全行业的学习（事故报告制度），这是它成为最安全交通方式的原因之一。AI 正在做同样的事：事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。

「对齐（Alignment）」是 AI 安全的核心词，但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多：如何让一个能力可能远超人类设计者预期的系统，可靠地追求人类真实的意图？本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。

在加州 AI 安全监管讨论中，Anthropic 主张州总检察长可申请法院叫停危险模型，OpenAI 则倾向另一种强制性机制，两家公司立场公开分歧。

AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛，聚焦 AI 智能体时代的越狱攻防。

哈里斯在韩国警告遏制 AI 最严重风险的窗口正在关闭，敦促各国政府与科技公司紧急建立 AI 安全防护，并开展美中合作。

9月18日，在第一届中国网络空间安全大会上，《网络安全人才实战能力报告—AI赋能篇》正式发布]

AI 安全的工具生态正在开源社区快速成形：NVIDIA 的 Garak、微软的 PyRIT、Anthropic 的评测框架——红队工程师的瑞士军刀已经组装完毕。盘点主流工具的能力边界，以及「工具好找、用得好的很少」的现状。

IT之家 9 月 24 日消息，The Information 今天（24 日）晚间援引知情人士消息称，谷歌、OpenAI 和 Anthropic 三家 AI 公司正自行推进成立 AI 安全标准机构的计划，希望在没有政府监督的情况下，**于…

美国国土安全部以供应链风险为由下令联邦民事机构从 IT 系统中移除 DeepSeek 相关产品，北京指责这是以国家安全为借口的歧视性打压。

IT之家 10 月 12 日消息，据《卫报》报道，英国将加强其网络防御，同时呼吁顶尖人工智能研发企业在系统安全治理上采取更积极的举措。 英国 AI 国务大臣卡尼什卡 · 纳拉扬（Kanishka Narayan）预计将在西伦敦发表的专题演讲…

IT之家 10 月 8 日消息，据《商业内幕》今天（8 日）凌晨报道，上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为，公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示，**OpenAI 一边反复警告新模型能…

IT之家 9 月 24 日消息，微软总裁布拉德 · 史密斯表态**支持引入独立评估方**，对 AI 进行安全评估。 正在纽约举行的联合国大会上，AI 安全以及全球范围内如何监管 AI 行业，是各国领导人和企业高管重点讨论的问题。当地时间 2…

北京时间 9 月 23 日，据彭博社报道，AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为，对于能力日益强大的 AI 系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs 联合…

IT之家 9 月 22 日消息，据路透社今日援引知情人士消息，中国人工智能初创公司 DeepSeek（深度求索）将在本周参加联合国安理会，**讲解 AI 安全风险**。与此同时，世界各国领导人将齐聚纽约，参加一年一度的联合国大会。 IT之家…

IT之家 9 月 17 日消息，低功耗 FPGA 企业 Lattice（莱迪思）当地时间昨日宣布推出 FPGA 开发 AI 辅助工具 Radiant、安全控制 FPGA 新品系列 Mach-N2。 Prompt 以 Lattice 经过验证…

IT之家 9 月 16 日消息，昨日（9 月 15 日）举办的 Salesforce 活动中，英伟达首席执行官黄仁勋表示， AI 开发不应被理解为“速度”和“安全”二选一。 IT之家援引彭博社报道，在对话 Salesforce 首席执行官马…

IT之家 9 月 15 日消息，随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温，OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施，进一步推动行业共同应对潜在风险。 据彭博社…

安全工程领域有一种名为隐晦式安全（Security through obscurity）的设计方式，即只要网络和系统的架构以及任何漏洞或弱点保密或不为人知，它们就是安全的。但在 AI 辅助 bug 发现的时代，这种设计方式过时了。软件供应商…

IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

Dario Amodei 发文主张放慢 AI 能力提升速度，提出"嵌入式评估员—民主国家协调—全球协调"三步走方案，第一步 Anthropic 已单方面承诺执行；Altman 与马斯克罕见附和，业内同时出现"监管俘获"质疑。

单个智能体的安全问题（权限、注入、失控）已经够难；当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变：错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。

Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元，并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。

2026-09-28 剑桥 CASP 发布 22 位作者联合报告，Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署，警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解：公司自报证据（Anthropic 批准代码占比 >80%、自主研发工作 1%→26%）、软件智能爆炸（SIE）的论证机制（Ho & Whitfill 研究投入回报 r≈1.2–1.9）、三类风险（适应速度、监督控制、权力制衡）与三项政策优先（可见性、引导约束、社会适应），并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。

企业安全治理清单篇给了一张「做什么」的清单，这篇回答「谁来做什么」——AI 治理的组织设计：治理委员会的构成、三道防线的划分、以及一个正在成形的新角色：AI 风险负责人。

前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足，并呼吁 AI 行业建立类似核电与航空级别的安全保障体系，OpenAI 对此作出回应。

智能体进组织，冲击的不只是效率：岗位在重组（执行岗收缩、验收岗扩张）、团队在变形（「一人+一队智能体」的单元出现）、管理在换轴（管理人的方法管不了智能体）。本篇观察组织层面的真实变化、被验证的管理适配、以及「人机比」这个新的组织设计变量。

文章介绍 Nvidia 在机器人和自动驾驶等物理 AI 领域投入数十亿美元，并于 2025 年推出 Halos 安全系统、2026 年 6 月扩展至机器人领域，旨在帮助开发者降低机器伤害人类的风险。

OpenAI 回应三名安全研究人员被解雇争议，否认与安全警告有关，称内部调查发现「重大信任破坏」。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。