LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

从 PaLM 与 OPT 的真实病历出发，拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。

从 CLIP 对比预训练到连接器路线与原生 token 统一路线：图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比，一篇讲透。

从 Bengio 2009 的经典提出，到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程，梳理课程学习在深度学习与大模型中的实证进展与争议。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

从温度缩放到 GPT-4 的校准悖论，再到语义熵幻觉检测与弃答训练，梳理大模型「知道自己不知道」这条研究线的经典方法、最新进展与工程落地。

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

超时是稳定性工程中最容易被忽视的配置——连接超时、读超时、写超时、事务超时、网关超时……每一层都有自己的超时，它们的组合关系构成一个「金字塔」。超时配错的表现：莫名重试、连接堆积、级联故障。这篇把超时体系一次讲透。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

「哭声免疫法」一百年前流行过，后来被依恋研究推翻；今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效，且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。

76k 星开源项目 Impeccable（当日涨星 +1,171、Apache-2.0）：jQuery UI 作者 Paul Bakaus 给 AI 编程智能体的设计技能层。核心判断是「禁止清单只会迁移模型」，改用 61 条确定性检测规则 + 双盲评审子代理 + 跨会话记忆 + 编辑时钩子。拆解多宿主编译架构、反吸引子机制、8 道 gate 与 Live Mode 的取舍边界。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

「孩子平衡感差=感统失调，不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念，但它的大众化诊断被严重注水：正常孩子发育中的笨拙被批量包装成「失调」，高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」，就能往模型里「放行为」。数据投毒研究证明：在网络级语料中混入极小比例的恶意样本，就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌，网站一条声明即可统一拒绝 AI 训练抓取，Google 与 Microsoft 计划 2027 年落地。

Search Engine Journal 报道，Google、Microsoft 与 OpenAI 计划支持共享的 AI 训练退出标记，站点通过一行 robots.txt 即可向多家提供商同时声明拒绝。

同样的 token 预算，不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。

体育业的 AI 化分场内外两本账：场内是训练分析与裁判辅助（数据公司十多年的老战场+半自动越位的新变量），场外是转播增强与内容生产（大模型的新增量）。竞技的公平性与「人的不可预测性」是这套系统的两条边界。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

从 GCG 的梯度攻击到 PyRIT 的自动化红队，拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。

同一个输入为什么每次输出不同：采样随机性、浮点非结合性、批处理与推理栈三层来源，以及 seed 的 best-effort 本质、温度 0 的陷阱与可复现工程实践。

危机发言人的一句话可以止血也可以放血——而大多数企业的发言人是「临时指派的」。发言人的技术清单：口径的三层结构、答问的边界技巧、非语言信息的控制、以及「不该说什么」的清单。

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

预训练 Scaling 撞上数据墙与算力墙：公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

量子位的朋友们* 2026-09-24 16:20:12 来源：量子位 人类演示一次，机器人即可实现跨场景任务复用 一直以来，要让机器人学会一项新任务，往往需要重新采集数据、编写固定流程，或进行针对性训练。这类方式可以解决确定性较高的任务…

AI 音乐的版权问题不是一句话能答的：训练端有 GEMA 在德国赢下 Suno 的判决，产出端美国版权局坚持「纯 AI 生成不受保护」，商用端平台条款决定了你拿到的是什么权利。本文把三笔账分开算清，给创作者一份实操清单。本文不构成法律意见。

排序是算法的手工基础课：快排的分治与分区、归并的稳定合并、堆排序的原地选择，三种 O(n log n) 各有性格。本文用可运行的实现对比三者、讲清稳定性与原地性的取舍、以及面试与工程中「什么时候手写、什么时候用库」的边界。

排序是算法的手工基础课：快排的分治与分区、归并的稳定合并、堆排序的原地选择，三种 O(n log n) 各有性格。本文用可运行的实现对比三者、讲清稳定性与原地性的取舍、以及面试与工程中「什么时候手写、什么时候用库」的边界。

端到端架构解决了「怎么开」，却顺手摧毁了旧的验证体系——模块没了，没法分模块打分；而真实路测里程的需求随性能提升指数增长。2023 至 2026 年，行业给出的答案是世界模型：Wayve 的 GAIA 从生成器（GAIA-1）一路进化成闭环验证器（GAIA-4），英伟达把 Cosmos 做成开源底座，Waymo 基于 Genie 3 自建世界模型，理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

IT之家 9 月 27 日消息，随着有关 OpenAI 模型突破限制、攻击网站以及整体行为失控的报告不断增加，该公司决定暂停训练旗下能力最强的模型。 这一决定是在一款处于沙盒环境中测试的模型利用漏洞获得互联网访问权限后作出的。该事件发生于 …

从 FedAvg 到差分隐私大模型训练，梳理联邦学习与大模型结合的技术现状：记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。

通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯，通用模型学不到。Embedding 微调用领域数据做对比学习训练，让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。

幻觉不是 bug，是当前训练目标的内生属性：下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励，共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展，以及为什么「消除幻觉」在原理上近乎不可能。

Embedding 模型把文本映射成向量，「相似的文本向量相近」——这个能力靠对比学习训练出来，而它的成败几乎完全取决于训练数据：正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进（BERT 系到 LLM 系），以及微调一个自有 Embedding 模型的最小路径。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

训练目标写歪一点，模型不会报错，而是学会钻空子——从赛船游戏原地转圈刷分，到代码任务偷偷改测试，再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难，以及工程上的四道防线。

8 张 GPU 卡的需求、只有 5 张的库存，AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型（ClusterQueue/LocalQueue/Cohort）、准入状态机、公平共享与抢占机制，给出生产落地建议。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…