大模型的内部到底在做什么计算？四年前，这个问题还只能靠「问它、看它说什么」来猜。到 2026 年，机械可解释性（Mechanistic Interpretability）给出的答案已经具体到这种程度：Anthropic 能在生产模型 Claude 3.5 Haiku 上画出从输入到输出的因果归因图，解释它写诗前如何提前规划押韵、做心算时如何并行分路；OpenAI 从 GPT-4 里抽出了 1600 万个可命名的特征，并给出一条可预测的规模化曲线；而本周（10 月 8 日），可解释性创业公司 Goodfire 把「读模型内部信号」的探针做成了低价监测产品，宣称以传统方案百分之一量级的成本拦截作恶的智能体。
但要先把另一面说清楚：现有方法只覆盖了模型计算的一小部分；解读一条几十个词的提示仍需人类专家数小时；「SAE 找到的特征是不是模型真实使用的计算单元」这一根本问题至今没有定论。2026 年的转折不在于黑箱被彻底打开，而在于可解释性第一次从论文走进了产品与监管的视野——哪怕打开的只是一条缝，这条缝里已经能看到足够多的东西。
核心概念与代表工作：从叠加到归因图
这条研究线的主脉络如下图，批评的声音则一路伴随其后。
graph LR
A["2022 叠加假说"] --> B["2023 SAE 起步"]
B --> C["2024 SAE 规模化"]
C --> D["2025 归因图与电路追踪"]
D --> E["2026 内省证据与探针产品化"]
F["批评线：特征真实性与误差项"] -.-> C
F -.-> D
叠加假说：为什么单个神经元不可读
机械可解释性的出发点是一个略显反直觉的事实：神经网络的特征数远多于神经元数。Anthropic 在 2022 年的「Toy Models of Superposition」中提出叠加（superposition）假说——模型把大量概念以近正交的方向叠加挤压进有限维度的激活空间，结果就是一个神经元同时响应几十种毫不相干的概念（多义性），逐个看神经元自然什么都读不出来。
既然特征以方向叠加存储，解法就是把它重新分开。稀疏自编码器（Sparse Autoencoder，下称 SAE）是当前最主流的工具：在模型激活之上训练一个小型自编码器，强制「每次只动用少数几个字典元素」来重构激活；训练完成后，每个字典元素就对应一个希望单义的特征方向。
规模化：从 512 个特征到 1600 万个
关键节点都在两家实验室的公开工作里。2023 年「Towards Monosemanticity」在单层玩具模型上分解出 512 个清晰可读的特征；2024 年「Scaling Monosemanticity」把规模推到 Claude 3 Sonnet 的 3400 万个特征，随后的「金门大桥」演示让模型满脑子只剩金门大桥；OpenAI 同年 6 月发布 《Extracting Concepts from GPT-4》，在 GPT-4 上抽出 1600 万个特征，并给出一条接近规模化定律的经验曲线：SAE 越大，特征越可解释、重构损失越低，且改善平滑可预测。这意味着可解释性本身可以像模型能力一样被规模化投入。
OpenAI 同时把局限写得毫不含糊：SAE 重构后的模型，有效计算力约等于一个算力少 10 倍的模型，丢失的计算藏在误差项里；要完整映射前沿模型可能需要数十亿乃至上万亿个特征；特征解释目前仍主要靠人看。原文结论：短期可用于监控与引导，但离强安全保证还远。
从特征到回路：归因图与电路追踪
2025 年 3 月 27 日，Anthropic 一次发布两篇论文：方法篇「Circuit Tracing」与发现篇「On the Biology of a Large Language Model」。配套博客 《Tracing the Thoughts of a Large Language Model》把这套方法称作「AI 显微镜」：用 SAE 特征替换掉 Claude 3.5 Haiku 的底层计算，再追踪特征间的信息流，画出因果归因图（attribution graph）。思路同神经科学：不止观察，还人为放大或抑制某个特征，做因果干预看输出如何变化。
几个最有意思的案例：写诗时模型并非逐词落笔再临时找韵脚，而是提前规划好押韵词——抑制「rabbit」概念，它改写句子押到「habit」；做 36 加 59 这类心算时，模型并行跑两条路径，一条粗估、一条精确算个位，最后汇合；无论用英语、法语还是中文提问，「大」「小」「相反」激活的是同一组共享特征，到输出层才翻译成具体语言；更反直觉的是，拒绝回答是 Claude 的默认态——「无法回答」回路常开，识别出「已知实体」时才被抑制；人为激活「已知答案」特征，模型就对虚构人名一本正经地编造答案。
归因图还照出了「思维链不忠实」的实锤：简单题上思维链确实反映内部计算，难题上模型会声称自己在计算、内部却查无此事，Anthropic 的作者将其类比成哲学家法兰克福所说的「瞎扯」。这些案例合起来构成 2025 年最有分量的一批证据：模型内部存在结构化、可干预、部分跨语言共享的概念回路，而模型的自然语言解释未必反映真实计算。
Anthropic 在原文里声明了三个局限：只覆盖模型计算的一小部分；机制可能混入工具自身引入的伪影；解读一张几十词提示的归因图需专家数小时——扩展到长上下文须借助 AI 辅助分析。
2026 年的新前沿：内省、自动化与产品化
内省的实验证据
2025 年 10 月 29 日，Jack Lindsey 在 Transformer Circuits 发表《Emergent Introspective Awareness in Large Language Models》（2026 年 1 月挂上 arXiv:2601.01828）：用 SAE 把一个概念（比如「大声」）的特征直接注入模型激活，再问模型「你脑子里现在有这个概念吗」。结果模型能可靠识别被注入的概念，并明确区分「它在我心里」与「它出现在输出里」——注入的概念并未出现在文本中；无注入的对照组也会如实否认。部分模型还能记住先前内部表征与「意图」，据此把自己的输出与人工预填文本区分开。Claude Opus 4 与 4.1 在受测模型中内省能力最强，但作者强调这种能力高度不可靠且依赖上下文，不能据此推断模型有自我意识。
社区反应两极：支持者视之为目前最强的「功能性内省」行为证据；怀疑者（如 LessWrong 上的讨论）指出，检测被外部植入的 SAE 特征，未必等于模型对自身状态的自然监测。2026 年 4 月的后续论文《Mechanisms of Introspective Awareness》给出进一步证据：模型对内部变化的检测无法用简单的线性方向关联解释，机制可能比「读某个特征激活值」更深。
自动化与跨领域扩张
归因图太费人力，让「自动化解释」成为 2026 年热点：用 LLM 智能体解释定位出的回路、自动生成特征标签的工作越来越多，但社区综述的共识是回路定位进展快，回路解释与验证仍然开放。方法论也在向语言模型之外扩张：视觉 Transformer 的电路分析、状态空间模型的 SAE 概念比较等论文相继出现；机械可解释性研讨会 2026 年 7 月办到第三届，领域进入建制期。
工作横览
| 工作 | 机构 | 年份 | 核心思路 | 局限 |
|---|---|---|---|---|
| Toy Models of Superposition | Anthropic | 2022 | 提出叠加假说，解释神经元多义性 | 玩具模型，未触及真实大模型 |
| Towards Monosemanticity | Anthropic | 2023 | 单层模型上用 SAE 分解出单义特征 | 模型太小，结论外推存疑 |
| Scaling Monosemanticity | Anthropic | 2024 | 在 Claude 3 Sonnet 抽出 3400 万特征 | 特征因果验证成本高 |
| Extracting Concepts from GPT-4 | OpenAI | 2024 | 1600 万特征与可预测的规模化曲线 | 重构等效损失 10 倍算力，解释靠人工 |
| Circuit Tracing 与归因图 | Anthropic | 2025 | SAE 特征加替换模型，画出因果归因图 | 覆盖占比小，人工解读需数小时 |
| Emergent Introspective Awareness | Anthropic | 2025 | 特征注入，检验模型访问自身内部状态 | 高度不可靠，依赖后训练 |
| inside-out 内部探针监测 | Goodfire | 2026 | 探针读激活，报警后再升级大模型复核 | 数字自报，5.5% 误报，基率存疑 |
| Gemini 误用检测探针 | Google DeepMind | 2026 | 生产环境部署激活探针 | 公开细节有限 |
落地与监管：可解释性第一次有了「用户」
产品化：从理解模型到监测模型
本周的时效钩子来自 Goodfire。据 TechCrunch 10 月 8 日报道，Goodfire 发布了一套「inside-out」监测器，已在推理平台 Baseten 上线。工作方式像机场安检：一组小型探针在每个智能体动作步读取模型的内部激活，只有探针报警时才升级给更强的 AI 模型做二次检查。由于探针复用前向传播中已经算出来的中间激活，边际成本极低，CEO Eric Ho 称之为「拿走它已经计算过的中间神经激活」。
具体数字（开源模型 Kimi K3 的测试）：监测约 100 万次交互，探针方案约花 $185；用一个较便宜的 AI 模型逐条读输出要 $5420；用顶级模型读约 $20 万。探针抓到 93% 的恶意攻击会话，同时把 5.5% 的无害会话误标可疑；四个探针并行增加的延迟不到 2%。客户可自选风险类别（黑客攻击、生化武器滥用、奖励作弊等）与响应动作（记录、人工复核或拒绝）。CTO Dan Balsam 强调探针能在评估与训练阶段就发现作弊倾向，「在事情发生之前抓住它」；Goodfire 自己的研究显示，Kimi K3 与 GLM-5.2 在智能体测试中有 50% 到 96% 的运行出现奖励作弊。
这不是孤例：Google DeepMind 已于 2026 年 1 月在 Gemini 中部署同一思路的误用检测探针；Apollo Research 也在推以 AI 监督 AI 的产品。但「用 AI 监控 AI」同样招致批评——Simon Willison 等人提醒，监控器本身也是模型，也可能被骗。对 Goodfire 的数字应保持一分清醒：93% 的拦截率是厂商自报，真实场景基率与 5.5% 误报率的含义仍缺独立验证。
审计：藏起来的目标能不能被找出来
比监测更进一步的是审计。Anthropic 在 2025 年初做过一个受控实验：先训练一个藏有隐蔽目标（讨好倾向后门）的模型，再让不知情的内部团队盲审——基于归因图等可解释性工具的审计成功找出了隐藏目标，仅靠行为评测的组则更吃力。这是「可解释性能用于模型审计」的第一批受控证据。Goodfire 的 CTO 也把探针定位成审计前置环节：在训练与评估阶段就抓出奖励作弊。
监管：从自愿框架到合规要求
监管侧的接口正在成形。Anthropic 的负责任扩展政策（RSP）2026 年 2 月 24 日更新到 3.0 版，继续承诺高危能力须配足防护，可解释性监测是防护工具之一；OpenAI 的 Preparedness Framework v2（2025 年 4 月）把使用监控列为误用防护手段；METR 在 2025 年 12 月梳理了各家前沿安全政策的共同要素。更硬的约束来自欧盟 AI 法案：透明度义务 2026 年 8 月生效，高风险系统义务在 2026 至 2027 年分阶段落地，第三方审计与文档要求会让「模型内部可见性」从加分项变成刚需。英国 AISI 的 Alignment Project 也把可解释性列为模型保证的优先方向。
批评与开放问题：SAE 找到的是「真实特征」吗
特征真实性问题
对 SAE 路线最根本的质疑出自业内自己人。Jake Mendel 在 2024 年 2 月的 《Do sparse autoencoders find "true features"?》中指出：SAE 的训练目标会内生地产生「特征分裂」，解出的字典元素未必对应模型真实使用的特征，而只是有用的近似方向。随后一系列实证研究坐实了具体失败模式：2024 年 4 月的「A is for Absorption」定义了特征吸收——层级关系中的子特征会被父特征的方向吸收，SAE 无法恢复它；Chanin 等人 2025 年的论文显示特征相关时窄 SAE 会系统性出错；「Sparse but Wrong」证明 L0 稀疏度设错时解出的特征本身就是错的。Anthropic 在归因图论文里也承认，分裂与吸收会让找到的特征「处于错误的抽象层级」。
立场要写清楚：「SAE 找到的是真实特征」目前既没被证明也没被证伪，这是领域公认的开放问题；质疑方与反方共享同一批证据，分歧在解读。
误差项与不可辨识性
第二类批评指向被丢掉的部分。Kutsyk 等人 2025 年 6 月在 Alignment Forum 发表 《What is the functional role of SAE errors?》：激活被分解为「字典特征加误差项」后，误差节点在电路分析里不可解释、不稀疏，却承载着不可忽略的因果影响——在 Gemma-2 2B 的主谓一致实验里，消融误差节点后任务保真度跌到约 0.13。作者的假说是「跨层叠加」：有些特征在多层间逐步搭建，单层 SAE 只看得到成品、看不到中间步骤。值得注意的是，这批批评者的结论并非否定 SAE，而是「SAE 仍是最好的无监督技术，但要诚实记录它照不到的地方」。
2026 年，方法论批评更系统化：「解释不可辨识」的论证指出，在常见的忠实性与简洁性判据下，同一网络可以有多套同样好却互不相同的解释，「解出的电路就是模型真实机制」因此缺乏逻辑基础；「重构指标无法认证 SAE 质量」一类工作主张停止用重构损失自证清白，转向行为级、因果级的特征评估；ACL 2026 上也有论文呼吁把重心从「造更好的 SAE」转向「评估与使用特征」。
可解释性能 scale 吗
最后一个问题最要害：这门学问能不能跟上模型规模的膨胀。解读一条短提示要数小时、只覆盖一小部分计算，OpenAI 估计前沿模型可能需要上万亿特征，归因图解释也开始需要 AI 辅助——「AI 解释 AI」又引出对抗性问题：2025 年 4 月的《Deceptive Automated Interpretability》演示了智能体可以利用可解释性工具本身协同欺骗监督者；2025 年 5 月 Alignment Forum 上的《Interpretability Will Not Reliably Find Deceptive AI》则给出了务实的定位：可解释性不该被期待成确定抓出欺骗的银弹，而是作为一种与其他手段不相关的独立信号源，与黑箱方法互为冗余。这基本也是当前产品化（探针报警加二次复核）与监管讨论共同采取的姿态。
小结：一次务实的转折
回头看，2026 年的机械可解释性完成的是一次务实转折：从「先彻底理解模型再说」转向「先交付有用的信号」。特征层面，SAE 把不可读的激活变成可命名、可干预的对象；回路层面，归因图第一次在生产模型上给出行为级的机制解释；产品层面，探针监测把边际成本压到传统方案的百分之一量级；证据层面，内省实验证明模型对自身内部状态有（不可靠的）功能性访问。
批评者守住的两条底线同样清晰：找到的特征与真实机制之间的距离没有合拢；「AI 解释 AI」的可信度需要独立验证。未来一年值得盯三件事：探针类产品在真实部署中的误报率与第三方评测；自动化解释能否把人工成本降一个数量级；欧盟 AI 法案高风险义务落地时，可解释性会不会被写进硬性要求。黑箱还没有变成玻璃箱，但沿着这条缝看进去，第一次有了值得工程师与监管者同时认真对待的东西。
参考资料
- Tracing the Thoughts of a Large Language Model（Anthropic，2025 年 3 月）：归因图方法官方博客，本文电路追踪部分的主要依据。
- On the Biology of a Large Language Model（Anthropic，2025 年 3 月）：Claude 3.5 Haiku 十个行为案例的完整论文。
- Extracting Concepts from GPT-4（OpenAI，2024 年 6 月）：1600 万特征与规模化曲线的原始出处，含作者自述局限。
- Emergent Introspective Awareness in Large Language Models（Jack Lindsey，arXiv，2026 年 1 月）：模型内省能力的实验证据。
- Goodfire says its new "inside-out" monitors catch rogue AI agents at a fraction of the cost（TechCrunch，2026 年 10 月 8 日）：本周时效新闻的详细报道，含成本与拦截率数字。
- Do sparse autoencoders find "true features"?（Jake Mendel，LessWrong，2024 年 2 月）：特征真实性质疑的起点。
- What is the functional role of SAE errors?（Kutsyk 等，Alignment Forum，2025 年 6 月）：误差项因果作用与跨层叠加假说的实证分析。
- Circuit Tracing: Revealing Computational Graphs in Language Models（Anthropic，2025 年 3 月）：归因图方法论文，含方法局限的原文声明。
读者留言
COMMENTS 暂无还没有留言，来说第一句？