大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

自由循环的 Agent 难以控制分支、审计与人工介入。本文用 LangGraph 把工作流写成显式状态机：State、Node、Edge 三概念，一个两节点循环的最小示例，以及 Checkpointer 带来的断点续跑与 human-in-the-loop 能力。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

人类学一门新课不会忘掉母语，神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一，在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制（权重覆盖）、三大对策路线（正则化、回放、参数隔离）、LoRA 时代的低成本续训，以及「知识注入」为什么仍是开放难题。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

沙利文报告]

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

Agent 工程系统学习第 8 章：工作流引擎把确定性控制流从模型手里拿回来，HITL 在关键决策点交还控制权。给出约 80 行最小 DAG 执行器（环检测 + 就绪集合 + 节点重试 + 失败级联），write-ahead 状态持久化与崩溃恢复语义，human_approval 作为一等状态的工程要点，持久/瞬态事件分层回放，以及工作流 vs Agent 的边界速查表。

破晓智能与天珑移动发布SeePhys Hub数据采集系统，通过四目头环、腕部手环、腰腿部追踪器和触觉手套，将视觉与身体运动、触觉信号融合，为机器人学习全身移动操作补充Ego数据中缺失的交互信息。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

一位 89 岁教授的 70 余万判赔，点燃了公众对知网积攒多年的怒火；从中科院千万续订费到 8760 万元反垄断罚单，这不是一次危机，而是平台型垄断结构性矛盾的总爆发。本文复盘全程，拆解账单与教训。

一份可直接用于团队分享的 Agent 沙箱全景：从进程级到 microVM 的五级隔离谱系、「请求→供给→执行→回收」主流程、六大能力组清单，以及从单沙箱限额到高密度超卖的四层资源并发控制，综合本站知识库 13 篇沙箱主题文章写成。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

从控制流与上下文的所有权出发，给出四条可执行的 Agent 工程原则：一切外部接入以工具体系形式接入且不注入系统提示词；逐级披露贯穿技能、工具发现、工具执行与记忆四个环节；Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系；并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构，以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

企业智能体的真实采用曲线呈断层状：POC 与试点遍地开花，真正进入生产并承担关键业务的凤毛麟角。本篇观察断层的位置与成因（六个生产化缺口）、跨越断层的组织形态、以及「试点工厂」陷阱——为什么大量企业困在永远试点里。

传统嵌入向量要么全存要么全废，维度定死；嵌套表示（MRL）训练出的向量有个特殊性质——只取前 128 维依然可用，取前 256 维更好。本文讲清它的直觉原理、两种用法（截断降维与级联检索）、以及「普通模型向量不能随便截」这条红线。

九大空间测试10B规模通用模型中8项第一]

显存不够时的两板斧——梯度检查点（用计算换显存）与 offload（用传输换显存）——是让「消费级硬件跑大模型训练」成为可能的关键技术。本篇拆解两者的机制、各自的代价曲线、怎么组合使用，以及什么时候该承认「硬件真的不够」。

AI 与军事的结合不是未来时而是现在时：目标识别、情报分析、无人系统的自主化——以及最尖锐的争议点：自主武器（LAWS）该不该被禁止。这场辩论已经持续四十年，从联合国公约讨论到实验室的道德声明。本文讲清军事 AI 的现实图景、LAWS 辩论的核心论点、以及「人的判断」这条底线的攻防。

「孩子平衡感差=感统失调，不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念，但它的大众化诊断被严重注水：正常孩子发育中的笨拙被批量包装成「失调」，高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

开源 AI 模型的「免费」是当代科技产业最奇特的经济学：数以百亿计的算力与人力被投入，产出以零价格发布。谁在买单？为什么买单？免费模型的存在如何重塑商业格局？本文讲清开源 AI 的四种买单模式、搭便车者的生存术，以及这个特殊生态的可持续性问题。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

🥽曝苹果重新评估 Vision Pro 路线，测试更轻机型 🍎洛图：8 月中国笔电线上销量降 20.8%，苹果与小米份额上升 ⚖️苹果触觉反馈专利案被裁赔 57 亿美元，称将上诉 🛡️OpenAI 暂停最强模型的工具使用训练，沙盒 D…

量子位的朋友们* 2026-09-22 18:06:34 来源：量子位 9月22日，在2026杭州云栖大会企业级Agent实践峰会上，基元律动联合创始人兼CTO韩凯发表演讲《从Harness到RSI飞轮》。 9月22日，在2026杭州云栖…

2026 年 9 月 15 日凌晨，Opus 5.2 在 Claude Code 中被曝灰度测试，"RSI 真来了？"随即刷屏。本文不站队，把这条新闻拆成三层证据：官方一手（Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》）、媒体转述、社媒传闻，逐条甄别。结论：Opus 5.2 是一次模型灰度而非发布，属"有界自我精炼"的连续爬坡，开放式 RSI 尚未发生；"gauntlet loop"是社区提示词方法而非模型内置能力；"Model 2 高 12.5 分"与官方"增幅不大"口径冲突；"替代 85% 研究团队"溯源到社媒，与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题，并指出真正该盯住的是"智能体能力与验证能力之间的差距"。

把多模型执行经验用到了模型训练

量子位的朋友们* 2026-10-21 17:45:22 来源：量子位 10月21日，生数科技世界模型团队正式开启Motubrain 2.0训练全流程公开直播 大模型训练过程，开始更多地出现在公众视野中。 此前，小米MiMo负责人罗福莉公…

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

正则化（防止过拟合的技术）在经典机器学习里是必修课，但在大模型训练里却「存在感稀薄」——预训练几乎不用 Dropout，微调却常开。这个反差本身是个有趣的信号。本篇拆解 Dropout 与权重衰减的机制、它们在大模型时代角色变化的原因、以及微调场景的正则化实践。

大模型的知识停在训练截止日，私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界，给出二十行以内的最小检索增强流水线，并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。

「si 列占满一个核」是高流量机器最经典的现象。本文从硬中断为什么要拆两半讲起，拆解 softirq 的机制（who触发、在哪跑、budget 限制）、NET_RX 的 NAPI 轮询路径、RSS/RPS 多队列分流，以及 RSS 单队列瓶颈与 irqbalance 的取舍，最后给出 si 异常的完整诊断流程。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

下游服务变慢时，上游的调用线程被阻塞，线程池耗尽后整个服务不可用——故障沿着调用链向上游传播，最终全站雪崩。熔断器就是切断了这条传播链的安全装置：检测到下游持续失败时自动「断开」，给下游恢复的时间。本文讲清熔断器的三态模型、与限流/降级的协作、以及 Resilience4j 的实践。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

Search Engine Journal 报道，Google、Microsoft 与 OpenAI 计划支持共享的 AI 训练退出标记，站点通过一行 robots.txt 即可向多家提供商同时声明拒绝。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

「哭声免疫法」一百年前流行过，后来被依恋研究推翻；今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效，且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

懂车帝三台尊界 V800 连续重刹踩断刹车踏板支架，江淮汽车两日跌停、市值蒸发约 118 亿元，而评论区把话题交给了 9 月才走红的「奴工理论」。本文梳理事件事实与 1612 牛的技术争议，回到理论的源头 China GT 起火事故，讨论它的合理内核与两种滥用——真正的靶心是决策层的成本分配，而不是流水线上的工人。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

抗生素是二十世纪最伟大的医学发明之一，而人类正在亲手把它变成二十世纪的遗物：每年全球数十万人死于「无药可用」的耐药感染，中国是全球抗生素使用量与耐药菌压力最大的国家之一。本文讲清抗生素的作用原理、耐药性的进化机制、「消炎药」这个错误叫法造成的伤害，以及每个人手里那半盒剩药的责任。

RAG 系统最伤信任的时刻，不是「答不出来」，而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默：检索层无料就明说，生成层答案没依据就降级，输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。