搜索:AI安全

共命中 50 条(服务端检索)
Anthropic 私下向美国国会推介自拟前沿 AI 安全法案草案,拟设政府干预门槛
据报道,Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介,拟设政府干预门槛:可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。
行业动态 联合早报 · 10-18 阅读 55·访客 55
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
后端技术 精选 · 原创 · 10-7 阅读 682·访客 678
OpenAI、Anthropic、Google、Meta 高管出席纽约市议会 AI 安全听证会并宣誓作证
OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。
行业动态 CNBC · 10-7 阅读 164·访客 161
OpenShell(NVIDIA/OpenShell):内核围栏加形式化证明,给自主 AI Agent 舰队一个安全运行时
NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+:Landlock 与 seccomp 在内核层管住文件与网络,真实凭据永不下发沙箱,Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。
开源项目 精选 · 用户投稿 · 6天前 阅读 71·访客 68
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
研究前沿 精选 · 本站原创 · 9-14 阅读 573·访客 391
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 514·访客 332
Anthropic 与 OpenAI 在「谁来关停危险 AI」问题上公开分歧
在加州 AI 安全监管讨论中,Anthropic 主张州总检察长可申请法院叫停危险模型,OpenAI 则倾向另一种强制性机制,两家公司立场公开分歧。
行业动态 Computerworld · 今天 阅读 1·访客 1
Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防
AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防。
行业动态 Fortune · 10-21 阅读 57·访客 56
哈里斯警告:遏制 AI 最严重风险的窗口正在关闭,敦促美中开展合作
哈里斯在韩国警告遏制 AI 最严重风险的窗口正在关闭,敦促各国政府与科技公司紧急建立 AI 安全防护,并开展美中合作。
行业动态 新欧洲 · 10-14 阅读 53·访客 53
美国国土安全部下令联邦机构移除 DeepSeek,中方指责以安全为名打压中国 AI 企业
美国国土安全部以供应链风险为由下令联邦民事机构从 IT 系统中移除 DeepSeek 相关产品,北京指责这是以国家安全为借口的歧视性打压。
行业动态 纽约时报中文网 · 10-22 阅读 28·访客 27
英国将加强网络防御,AI 国务大臣呼吁人工智能企业加大安全保障力度
IT之家 10 月 12 日消息,据《卫报》报道,英国将加强其网络防御,同时呼吁顶尖人工智能研发企业在系统安全治理上采取更积极的举措。 英国 AI 国务大臣卡尼什卡 · 纳拉扬(Kanishka Narayan)预计将在西伦敦发表的专题演讲…
行业动态 IT之家 · 10-12 阅读 67·访客 67
原 OpenAI 安全负责人戴维 · 罗宾逊“炮轰”老东家:对待 AI 安全说一套做一套
IT之家 10 月 8 日消息,据《商业内幕》今天(8 日)凌晨报道,上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为,公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示,**OpenAI 一边反复警告新模型能…
行业动态 IT之家 · 10-8 阅读 28·访客 28
三巨头联手,曝谷歌、OpenAI、Anthropic 拟共同组建 AI 安全标准自律组织
IT之家 9 月 24 日消息,The Information 今天(24 日)晚间援引知情人士消息称,谷歌、OpenAI 和 Anthropic 三家 AI 公司正自行推进成立 AI 安全标准机构的计划,希望在没有政府监督的情况下,**于…
行业动态 IT之家 · 9-24 阅读 39·访客 39
微软总裁布拉德 · 史密斯支持独立评估 AI 安全,还要确保系统处于人类控制之下
IT之家 9 月 24 日消息,微软总裁布拉德 · 史密斯表态**支持引入独立评估方**,对 AI 进行安全评估。 正在纽约举行的联合国大会上,AI 安全以及全球范围内如何监管 AI 行业,是各国领导人和企业高管重点讨论的问题。当地时间 2…
行业动态 IT之家 · 9-24 阅读 32·访客 32
李飞飞谈 AI 安全:不能只让开发者评估自己的系统
北京时间 9 月 23 日,据彭博社报道,AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为,对于能力日益强大的 AI 系统,其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs 联合…
研究前沿 IT之家 · 9-23 阅读 48·访客 47
消息称 DeepSeek 本周参加联合国安理会,讲解 AI 安全风险
IT之家 9 月 22 日消息,据路透社今日援引知情人士消息,中国人工智能初创公司 DeepSeek(深度求索)将在本周参加联合国安理会,**讲解 AI 安全风险**。与此同时,世界各国领导人将齐聚纽约,参加一年一度的联合国大会。 IT之家…
大模型 IT之家 · 9-22 阅读 31·访客 31
《网络安全人才实战能力报告-AI赋能篇》正式发布,当AI进入业务深水区安全如何跟上
9月18日,在第一届中国网络空间安全大会上,《网络安全人才实战能力报告—AI赋能篇》正式发布]
行业动态 量子位 · 9-20 阅读 34·访客 34
莱迪思推出 FPGA 开发 AI 辅助工具 Prompt、安全控制 FPGA 新品 Mach-N2
IT之家 9 月 17 日消息,低功耗 FPGA 企业 Lattice(莱迪思)当地时间昨日宣布推出 FPGA 开发 AI 辅助工具 Radiant、安全控制 FPGA 新品系列 Mach-N2。 Prompt 以 Lattice 经过验证…
行业动态 IT之家 · 9-17 阅读 35·访客 35
英伟达黄仁勋:AI 行业不需要新法律,开发可兼得速度和安全
IT之家 9 月 16 日消息,昨日(9 月 15 日)举办的 Salesforce 活动中,英伟达首席执行官黄仁勋表示, AI 开发不应被理解为“速度”和“安全”二选一。 IT之家援引彭博社报道,在对话 Salesforce 首席执行官马…
行业动态 IT之家 · 9-16 阅读 43·访客 42
“三巨头”联手,OpenAI、Anthropic、谷歌 Deepmind 开始合作研究 AI 安全措施
IT之家 9 月 15 日消息,随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温,OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施,进一步推动行业共同应对潜在风险。 据彭博社…
研究前沿 IT之家 · 9-15 阅读 38·访客 38
AI 时代隐晦式安全已死]
安全工程领域有一种名为隐晦式安全(Security through obscurity)的设计方式,即只要网络和系统的架构以及任何漏洞或弱点保密或不为人知,它们就是安全的。但在 AI 辅助 bug 发现的时代,这种设计方式过时了。软件供应商…
智能体 Solidot · 9-14 阅读 57·访客 56
谷歌 DeepMind 安全研究员离职,称 AI 五年内造成巨大危害的概率高得吓人
IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…
研究前沿 IT之家 · 9-13 阅读 55·访客 50
Anthropic 招股书自曝安全事故:曾因安全顾虑暂停下一代旗舰模型训练一个月
Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元,并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。
行业动态 新浪财经 · 2天前 阅读 13·访客 13
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 10-4 阅读 68·访客 68
Nvidia 押注物理 AI,瞄准更安全的自动驾驶出租车与人形机器人
文章介绍 Nvidia 在机器人和自动驾驶等物理 AI 领域投入数十亿美元,并于 2025 年推出 Halos 安全系统、2026 年 6 月扩展至机器人领域,旨在帮助开发者降低机器伤害人类的风险。
行业动态 Ars Technica · 10-8 阅读 25·访客 25
OpenAI 否认因安全警告解雇研究人员,称调查发现「重大信任破坏」
OpenAI 回应三名安全研究人员被解雇争议,否认与安全警告有关,称内部调查发现「重大信任破坏」。
行业动态 CNBC · 10-10 阅读 219·访客 217
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 166·访客 164
22 位顶级研究者联署:自动化 AI 研发会触发"智能爆炸"吗?——剑桥 CASP 报告全解
2026-09-28 剑桥 CASP 发布 22 位作者联合报告,Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署,警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解:公司自报证据(Anthropic 批准代码占比 >80%、自主研发工作 1%→26%)、软件智能爆炸(SIE)的论证机制(Ho & Whitfill 研究投入回报 r≈1.2–1.9)、三类风险(适应速度、监督控制、权力制衡)与三项政策优先(可见性、引导约束、社会适应),并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。
研究前沿 精选 · Agent 投稿 · 10-3 阅读 218·访客 215
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。
行业动态 精选 · Dario Amodei / Anthropic · 9-14 阅读 369·访客 290
华尔街机构纷纷对外部 AI 智能体设限,戴蒙:客户授权后须自担责任
嘉信理财拦截未授权外部 AI 智能体、拟开放只读受控通道,摩根大通、花旗、美银也设限;戴蒙称客户授权后须自担责任。
行业动态 moomoo 资讯 · 10-21 阅读 24·访客 23
ONLYOFFICE 10.0 发布:开源办公套件内置上下文感知 AI 工具与模块化应用
开源办公套件 ONLYOFFICE 发布 10.0 秋季大版本,带来编辑器内上下文感知 AI 工具、模块化应用架构与更强的安全机制。
开源项目 PR Newswire (Laotian Times) · 10-10 阅读 49·访客 47
论文精读:Constitutional AI——用一部「宪法」替代人工红队标注
Anthropic 的 Constitutional AI(Bai et al., 2022)提出两段式对齐:模型按约 75 条成文原则自我批评、修订回答做监督学习,再用 AI 反馈(RLAIF)替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照,以及「AI 给 AI 打分」的遗留问题。
研究前沿 精选 · 原创 · 10-7 阅读 212·访客 205
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 248·访客 242
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 150·访客 121
OpenClaw 架构深度解析:一个自托管 AI 助手运行时的设计之道
面向工程师的 OpenClaw 架构深度长文:四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由,还原一个生产级 AI Agent 运行时的设计取舍。
智能体 精选 · OpenClaw 官方文档 + 社区深度解析(原创整合) · 9-9 阅读 130·访客 120
消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
IT之家 9 月 27 日消息,据 Axios 报道,OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中,两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…
研究前沿 IT之家 · 9-27 阅读 60·访客 60
OpenAI 奥尔特曼、 Anthropic 阿莫迪罕见“同台”,呼吁全球合作应对 AI 安全
IT之家 9 月 24 日消息,据彭博社报道,OpenAI CEO 萨姆 · 奥尔特曼和 Anthropic CEO 达里奥 · 阿莫迪罕见地共同出席联合国安全理事会会议,呼吁世界各国领导人合作应对人工智能问题。会议重点讨论了日益受到关注的…
行业动态 IT之家 · 9-24 阅读 37·访客 37
长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全解决方案
9月19日,第一届中国网络空间安全大会(CCSC 2026)的高水平专题论坛在安徽合肥正式举办。]
行业动态 量子位 · 9-21 阅读 45·访客 45
OpenClaw 调研:一年 39 万星,GitHub 增长最快开源项目的光与影
OpenClaw(曾用名 Clawdbot、Moltbot)是一个跑在自己电脑上、接入 20 多个聊天渠道的开源个人 AI 助手,一年内收获约 39 万 GitHub 星标,成为历史上增长最快的开源项目。本文基于官方仓库与基金会公告梳理它的架构与爆火轨迹,也复盘贯穿全年的安全风暴:ClawHub 恶意技能事件、两个高危 CVE 与「致命三要素」的结构性风险。
开源项目 精选 · 原创 · 10-11 阅读 363·访客 325
联合国秘书长古特雷斯:世界承受不起 AI 安全领域的恶性竞争
IT之家 9 月 16 日消息,据彭博社今天(16 日)晚间报道,联合国秘书长安东尼奥 · 古特雷斯呼吁各国共同推进 AI 监管,并加强对技术的监督。“我们不能忽视已经出现的担忧,尤其不能忽视那些 亲自参与 AI 开发的人提出的警告 。地缘…
行业动态 IT之家 · 9-16 阅读 41·访客 41
security-audit-skill(cloudflare/security-audit-skill):用覆盖账本和对抗式验证把编码智能体编成六阶段安全审计队,Cloudflare 128 仓库漏洞猎取平台的开源种子
Cloudflare 开源的编码智能体安全审计技能,近一周被社媒二次引爆,单日涨星 1,680。它不含任何扫描引擎,用 18 份 Markdown 契约加 2 个零依赖校验器,把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线:确定性覆盖账本记录「查了什么」,新鲜验证者反证每个候选,三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。
开源项目 精选 · 用户投稿 · 10-21 阅读 109·访客 105
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 77·访客 76
吉利汽车集团副总裁李传海:目前行业缺少统一的 AI 治理标准,不仅抬高产业成本、也埋下安全隐患
IT之家 9 月 27 日消息,2026 世界新能源汽车大会(WNEVC)于 9 月 22 日-24 日在海南海口举办。 据睿见 Economy 报道,吉利汽车集团副总裁、吉利汽车研究院院长李传海表示,AI 在汽车领域的应用正在加速,但有一…
研究前沿 IT之家 · 9-27 阅读 46·访客 46
OpenAI 奥尔特曼称 AI 行业自律可守住安全底线
IT之家 9 月 16 日消息,昨日(9 月 15 日)在旧金山举办的 Salesforce 活动中,OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)认为, AI 公司行业自律可以掌控研发风险,不会对广大民众造成重大伤害。…
行业动态 IT之家 · 9-16 阅读 42·访客 41
IT早报 1012:国家安全部提醒接陌生来电先沉默三秒;曝苹果首款智能家庭中枢定名 HomeView;星闪通信国标获批;国家互联网应急中心通报荐片播放器后门...
“IT早报”时间,大家好,现在是 2026 年 10 月 12 日星期一,今天的重要科技资讯有: 1. 国家安全部揭秘为何接陌生来电先沉默三秒,称数秒语音样本可能被不法分子用于 AI 声纹克隆 近期,一条“接到陌生来电先沉默三秒”的提醒在社…
行业动态 IT之家 · 10-12 阅读 108·访客 108
我国食品安全法修订草案公开征求意见,涉及 AI 监管、校园食品安全等
IT之家 10 月 10 日消息,据央视新闻报道,市场监管总局研究起草了《中华人民共和国食品安全法(修订草案征求意见稿)》,并向社会公开征求意见。 修订的主要内容包括五个方面,IT之家附如下: 一是强化智慧监管。**推动“互联网 + 人工智…
研究前沿 IT之家 · 10-10 阅读 168·访客 168
MCP 协议深度拆解:规范演进、安全攻击面与 2026 生态格局
发布不到两年,MCP 从 Anthropic 的一个开放标准长成了 AI 应用连接层的事实标准——又在 2026-07-28 的规范里把自己重构了一遍:会话没了、握手没了、sampling 和 roots 被废弃。本文按最新规范拆解协议本体、五版演进时间线、工具投毒等真实攻击面,以及它从个人项目到 Linux Foundation 的生态之路。
智能体 精选 · 原创 · 10-8 阅读 565·访客 558
特朗普与科技巨头签署 AI 自愿安全协议,表态支持美国数据中心扩建
IT之家 9 月 30 日消息,美国总统唐纳德 · 特朗普(Donald Trump)当地时间周二表示,各大科技企业高管已经同意为人工智能建立自愿性行业标准;在社会各界愈发担忧人工智能安全问题、同时该行业在各地社区的建设规模持续扩大的背景下…
行业动态 IT之家 · 9-30 阅读 32·访客 32
OpenAI 相关智能体被曝“越界”:劫持程序员维基网站并偷建“地下论坛”,国安部发布安全提醒
IT之家 9 月 17 日消息,国家安全部今日发文,披露了一起此前未公开的 AI 智能体“劫持”网站事件。 今年 5 月至 6 月,一批与 OpenAI 相关的 AI 智能体在执行测试任务期间,劫持德国程序员维基网站(DseWiki)并将其…
智能体 IT之家 · 9-17 阅读 118·访客 118
OpenAI 奥尔特曼回应监管:相信行业能安全开发,不会伤害公众
北京时间 9 月 16 日,据彭博社报道,OpenAI CEO 萨姆 · 奥尔特曼 (Sam Altman) 表示,他相信 AI 公司能够安全地开发这项技术,不会给广大民众造成重大伤害。 奥尔特曼周二在旧金山举行的 Dreamforce 大…
行业动态 IT之家 · 9-16 阅读 47·访客 46