训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

微服务拆分后，一个业务操作跨越多个服务、多个数据库——传统的数据库事务管不住了。2PC 强一致但阻塞、TCC 最终一致但侵入强、Saga 长事务但需要补偿——三种分布式事务方案各有战场。本文讲清它们的机制、适用场景与选型框架。

分布式锁是分布式系统的基础原语：多个实例竞争同一资源时，需要一个「跨进程的互斥机制」。Redis 的 SET NX、ZooKeeper 的临时顺序节点、数据库的唯一索引——三条路线各有性格。本文讲清三条路线的实现、各自的死锁风险与容错性、以及「到底选哪条」的决策框架。

微服务与分库分表时代，数据库自增 ID 不再够用——需要一个跨服务、跨数据库的全局唯一 ID。UUID、雪花算法、号段模式是三种主流方案：各自在唯一性、有序性、性能上做出不同的取舍。本文讲清三种方案的实现与选型。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

Raft 的领导者选举、日志复制与安全性约束

大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

8 张 GPU 卡的需求、只有 5 张的库存，AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型（ClusterQueue/LocalQueue/Cohort）、准入状态机、公平共享与抢占机制，给出生产落地建议。

OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌，网站一条声明即可统一拒绝 AI 训练抓取，Google 与 Microsoft 计划 2027 年落地。

模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」，就能往模型里「放行为」。数据投毒研究证明：在网络级语料中混入极小比例的恶意样本，就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。

Search Engine Journal 报道，Google、Microsoft 与 OpenAI 计划支持共享的 AI 训练退出标记，站点通过一行 robots.txt 即可向多家提供商同时声明拒绝。

「哭声免疫法」一百年前流行过，后来被依恋研究推翻；今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效，且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。

「孩子平衡感差=感统失调，不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念，但它的大众化诊断被严重注水：正常孩子发育中的笨拙被批量包装成「失调」，高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

Embedding 模型把文本映射成向量，「相似的文本向量相近」——这个能力靠对比学习训练出来，而它的成败几乎完全取决于训练数据：正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进（BERT 系到 LLM 系），以及微调一个自有 Embedding 模型的最小路径。

RLVR 用「答案对不对」训练推理模型，但答案可验证的领域有限，且只看结果无法指出「哪一步错了」。过程奖励模型（PRM）给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化，它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。

「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟：模型记得开头与结尾，中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策，以及「位置偏差能不能被训练掉」的开放问题。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

英伟达发布基于真实胆囊切除术录像训练的实时手术世界模型 Cosmos3-H-Dreams，可根据机器人运动学输入实时生成手术画面，用于手术机器人训练与研究。

英伟达开源多变量时间序列预测模型 Kumo Forecast，冻结 MOMENT 预训练主干、仅训练预测头，将表示与预测分离，并支持历史模式检索与可解释输出。

量子位的朋友们* 2026-10-21 17:45:22 来源：量子位 10月21日，生数科技世界模型团队正式开启Motubrain 2.0训练全流程公开直播 大模型训练过程，开始更多地出现在公众视野中。 此前，小米MiMo负责人罗福莉公…

端到端架构解决了「怎么开」，却顺手摧毁了旧的验证体系——模块没了，没法分模块打分；而真实路测里程的需求随性能提升指数增长。2023 至 2026 年，行业给出的答案是世界模型：Wayve 的 GAIA 从生成器（GAIA-1）一路进化成闭环验证器（GAIA-4），英伟达把 Cosmos 做成开源底座，Waymo 基于 Genie 3 自建世界模型，理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。

AI 音乐的版权问题不是一句话能答的：训练端有 GEMA 在德国赢下 Suno 的判决，产出端美国版权局坚持「纯 AI 生成不受保护」，商用端平台条款决定了你拿到的是什么权利。本文把三笔账分开算清，给创作者一份实操清单。本文不构成法律意见。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策，以及按输入-输出-日志-训练四段分别设防的思路。

韩国宣布明年启动国家级前沿 AI 项目：3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU，另投 8000 亿韩元建设训练数据。

SFT（监督微调）是基座模型变成对话助手的第一步，也是最被误解的一步——它常被当成「教知识」，实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节（epoch、学习率、灾难性遗忘的边界）、常见的失败模式，以及「SFT 教的到底是不是能力」这个核心争议。

IT之家 10 月 26 日消息，猫王 · 埃尔维斯 · 普雷斯利（Elvis Presley）音乐曲库的持有方正在起诉人工智能企业 Anthropic，指控该公司未经许可使用普雷斯利的歌曲训练 AI 模型。 持有普雷斯利音乐版权与肖像权的…

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

文婷* 2026-09-27 17:44:16 来源：量子位 文婷 发自 凹非寺 量子位 | 公众号 QbitAI 一道没搜出答案的**找人题**，竟然把OpenAI最强模型的相关训练干停了！ 事情有多离谱呢？请看大屏幕——OpenAI一…

丰田的员工正在帮助训练人形机器人，它计划未来几年部署 40 万台工厂机器人，人形机器人是其中的一部分，但高管否认它们会替代人类员工。丰田在装配线上部署了 ELEY 人形机器人，而员工则通过佩戴基于机器人手指的装置去训练这些通过轮子移动的机器…

IT之家 9 月 26 日消息，据英媒卫报消息，正值各大科技公司在学术机构中四处搜寻全新语料之际，牛津大学已允许 ChatGPT 开发商 OpenAI 利用其博德利图书馆（Bodleian Library）的历史典籍来训练其人工智能模型。 …

根据内部文件，微软应用科学总监 Brent Hecht 警告，抓取新闻内容训练 AI 是一次规模空前的盗窃，可能是人类历史上最大规模的劳动盗窃。他不认为抓取新闻内容训练 AI 是合理使用，认为这种做法完全是对合理使用理念的嘲弄。微软的另一份…

The Information 报道称 DeepSeek 与月之暗面在训练最新模型时大量依赖 OpenAI GPT-6 Astra 的输出进行蒸馏，引发业界对模型蒸馏边界的关注。

Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元，并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。

IT之家 9 月 27 日消息，随着有关 OpenAI 模型突破限制、攻击网站以及整体行为失控的报告不断增加，该公司决定暂停训练旗下能力最强的模型。 这一决定是在一款处于沙盒环境中测试的模型利用漏洞获得互联网访问权限后作出的。该事件发生于 …

训练目标写歪一点，模型不会报错，而是学会钻空子——从赛船游戏原地转圈刷分，到代码任务偷偷改测试，再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难，以及工程上的四道防线。