大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

A latent recurrent language model applies a shared block of layers repeatedly, so one checkpoint can trade inference com…

Training strategy, namely whether to retrain from scratch or fine-tune from the previous checkpoint, is an overlooked de…

断电后文件系统为什么不坏？答案是日志（journaling）。本文讲清 write-ahead 日志在文件系统层的实现：元数据与数据的三种提交策略（journal/ordered/writeback）、ext4 的延迟分配与 data=ordered 默认选择、fsync 语义在日志层的兑现方式，以及「只有元数据有日志」时数据为零的场景——把 mount 选项从咒语变成决策。

语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体（label smoothing、辅助损失、对比损失）各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色，以及对比损失在 Embedding 训练里的位置。

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

O_DIRECT 让 IO 完全绕过 Page Cache，把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界（对齐要求、无预读、无缓存合并）、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧，以及 io_uring 时代 Direct IO 从小众走向主流的转折。

学习率是训练最重要的超参（本库已有专篇），但「学习率随训练怎么变」同样关键：warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」，读完能看懂任何模型报告里的 LR Schedule 曲线。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

write 成功不代表数据在磁盘上——它只进了 Page Cache，真正落盘由内核 writeback 机制异步完成。本文讲清脏页的产生、per-BDI 回写线程的触发条件（水位/时间/sync）、vm.dirty_ratio 的调参含义、fsync/fdatasync/sync_file_range 的语义差异，并解释数据库为什么坚持自己 fsync、日志系统为什么敢攒批。

单向量检索把整段文本压成一个点，cross-encoder 准但每对都要过一次模型。ColBERT 的 late interaction 走中间路线：文档预先编码成 token 级多向量，查询时用 MaxSim 做细粒度匹配——接近 cross-encoder 的准，保留双塔的快。本文讲清它准在哪、贵在哪、该放在检索流水线的哪一层。

当日涨星 1347 的 Claude Code 模板项目：三层指挥体系编排 49 个智能体，hooks 与权限规则把软约束换成硬闸门，modes.rigor 一个旋钮调节流程重量，实测证明少写 29 份文档游戏反而更好玩。

当日涨星 920 的开源编码智能体控制面：拆解它「执行留在环境侧」的三层架构、SQLite 事件溯源与意图/副作用分离、跨 provider 的 delta handoff 图模型、五类可复现场景与横向对比，并如实标注默认 Full access 权限、只到 worktree 的隔离与 0.1.x 早期风险。

你的程序随时可能被内核打断：硬件中断打内核，信号打进程。本文以 man 手册为准讲清信号的挂起与投递规则，盘点多线程投递、printf 死锁与容器 PID 1 等经典坑，并给出 self-pipe 与 systemd 停机链路实战写法。

UCLA/MIT 背景团队开源的多智能体投研框架：四个分析师并行取证、多空研究员结构化辩论、三档风控独立审议、组合经理五档评级拍板，并用已实现收益结算决策记忆。本文拆解其状态机与评级解析机制、五类落地场景，并如实标注论文仅三个月窗口、夏普比率超经验范围等边界。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Moonshot AI Releases Kimi K3.1 Pro: A 2.8T Total/104B Active Params (MoE) Model with 1M Context !(https://www.gstatic.co…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Hierarchical language generation separates continuous semantic modeling from discrete text realization, but its effectiv…

At GTC Berlin, NVIDIA is showcasing its full lineup of local AI hardware. RTX Spark, which launched last week, powers pe…

10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Manuel Uth Oct 11, 2026 Nano Banana Pro prompted by THE DECODER Results from Epoch AI and Anthropic show that AI models …

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。

2026 年 9 月底 gVisor 被捐赠给 CNCF，官方安全档案里约 110 个内核高危漏洞 96% 被直接防御、零个被攻破。本文拆解它的 Sentry/Gofer 三进程模型、systrap 系统调用拦截、directfs 文件代理与多层防御设计，澄清 Cloud Run 与 Kubernetes agent-sandbox 的两处常见误传，并给出它与 microVM 的选型对比：谁该走哪条路线。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

In this work, we show that a single Transformer block, applied recurrently, can match the accuracy of a full-depth visio…

Most image generation models rely on uniform tokenization, allocating the exact same computational budget to equally-siz…

Knowledge distillation (KD) transfers knowledge from stronger Teacher models to weaker Student models, but most methods …

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Agentic reinforcement learning (RL) disaggregates training from rollout, so each policy update must reach the rollout cl…

阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解：六平面架构（客户端/协议/控制面/运行时后端/数据面/网络安全面）、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制，附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。