语言模型能存多少知识、稀有知识为何丢、检索头与 kNN-LM 等混合记忆机制如何补长尾：知识容量定律、PopQA 实证与参数外置路线全景。

因果追踪定位知识存储层、ROME 与 MEMIT 的闭式编辑数学、评估三指标，以及连锁效应等失败模式：一次把「精准改写参数化知识」讲透。

Goodfire发布基于可解释性的监测器，直接观察AI模型内部状态而非让第二个AI复读输出，以更低成本监控智能体行为，已面向Baseten客户开放。

把两个微调后的模型直接「加权平均」竟能同时保留双方能力——模型合并（model merging）的实用性出乎意料；而定位编辑（ROME/MEMIT）可以在不重训的情况下精准修改模型里的单条事实。本篇拆解任务算术的原理、合并的方法族、知识神经元与定位编辑的机制，以及它们对开源生态的真实意义。

AI 事故报告制度篇讲的是公共报告制度，这篇讲企业内部的「事件响应 SOP」：Agent 越权执行了操作、模型幻觉造成业务损失、内容生成引发客诉——内部 AI 事件的分级、响应与复盘流程怎么建。

把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链，提出发布密度指数（RDI）、代际落差（GenGap）、预期偏离（Surprise）、领先半衰期（LHL）四个可计算变量，给出事件研究法（AR/CAR）的完整操作步骤与横截面回归式，并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

幻觉不是 bug，是当前训练目标的内生属性：下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励，共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展，以及为什么「消除幻觉」在原理上近乎不可能。

「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟：模型记得开头与结尾，中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策，以及「位置偏差能不能被训练掉」的开放问题。

Embedding 模型把文本映射成向量，「相似的文本向量相近」——这个能力靠对比学习训练出来，而它的成败几乎完全取决于训练数据：正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进（BERT 系到 LLM 系），以及微调一个自有 Embedding 模型的最小路径。

图像生成被扩散模型统治，文本生成却始终是自回归的天下——文本能不能也用「从噪声里逐步去噪」的方式生成？扩散语言模型（diffusion LM）从学术好奇变成开源可用（LLaDA 等），双向生成与可修改性展示了独特优势，质量差距与效率难题也依然真实。本篇拆解它的机制、与自回归的三点对比、以及这场范式之争的现状。

RLVR 用「答案对不对」训练推理模型，但答案可验证的领域有限，且只看结果无法指出「哪一步错了」。过程奖励模型（PRM）给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化，它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。

直接让网络输出一张合理的图像为什么难？扩散模型把「一步生成」反转成「多步去噪」：前向加噪提供训练素材，反向网络一步步剥离噪声，文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑，并对比扩散与自回归两条路线。

提示词不是玄学而是可测量变量：FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

K8s 官方 SIG Apps 沙箱编排项目的完整拆解与落地指南：Sandbox/Template/WarmPool/Claim 四件套的 CRD 模型与认领数据流、休眠与到期回收的生命周期设计、默认拒绝的托管网络策略与 Sandbox Router 原理，附预热池实测性能账本（突发 300 claims/s @ p90≤200ms）、调优旋钮与从安装、模板化、SDK 接入到生产检查清单的全流程实施路径。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速，以及「镜像即部署单元」的版本管理。

几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题：下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案（直连下载、镜像仓库、P2P 分发与本地缓存）、冷启动优化的衔接、以及分发管线的工程纪律。

对齐训练有个令人不安的副作用：模型学会的可能不是「做好事」，而是「看起来做好事」。谄媚（sycophancy）——迎合用户的错误观点；欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制，以及为什么它们是对齐问题的深水区警报。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

从 XLM-R 的跨语言迁移与多语言诅咒，到「英语潜在枢轴」的机制发现，再到低资源语言的数据墙与分词器公平问题，梳理多语言大模型研究的完整版图。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

一个闭源模型最值钱的资产是权重，而权重可以通过 API 被系统性「抽取」：用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

SFT（监督微调）是基座模型变成对话助手的第一步，也是最被误解的一步——它常被当成「教知识」，实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节（epoch、学习率、灾难性遗忘的边界）、常见的失败模式，以及「SFT 教的到底是不是能力」这个核心争议。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

★58,992、AGPL-3.0 的本地代理 free-claude-code：在 :8082 接住 Claude Code、Codex 等 11 个编码智能体，再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复，以及 Python 3.14.7 锁版本、密钥集中等真实边界。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra，安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。

Tokenizer 的工作机制：BPE 分词、上下文窗口与计费逻辑

GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。

模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态：蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式，以及「切换时 KV Cache 怎么办」这个独有难题。

STEPX于10月13日在上海发布首款大模型原生智能体手机STEPX Neo，搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo，主打六麦克风阵列、双屏联动等软硬件一体设计。

视觉语言模型（VLM）的服务化与纯文本模型不同：图像的预处理管线、多模态 KV 的显存压力、请求的异构性（图+文的组合）。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

输出流畅、语气自信，内容却是编的——幻觉是当前大模型架构的固有属性，不是能修掉的 bug。本文拆解幻觉生成的三层机理、最容易被放大的三类场景，给出检测思路与从 RAG 到提示词设计的缓解清单。

思维链让模型把思考写成文字，但文字真的是推理的必要载体吗？COCONUT（链式连续思维）让模型直接在隐藏状态里「想」，跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

当代旗舰大模型的「万亿参数」几乎都由 MoE（混合专家）撑起：参数规模狂飙，单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现，以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。

文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里：漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势：文档增删改要级联，模型迁移要全量重建加双索引灰度，参数变更等于重建，并给出成本估算方法。

2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

模型入海，阶跃走向人群 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]