预训练 Scaling 撞上数据墙与算力墙：公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。

FLOPS、算力、卡时、集群规模混着说，是看懂算力新闻的第一道坎。本文厘清 FLOPS 与 FLOPs 一字之差的两个概念，给出 6ND 训练算力估算经验与卡时换算方法，解释峰值与有效算力之间的 MFU 差距，最后附一张看懂算力新闻的换算清单。

算力是 AI 的硬通货——而它有一个其他资源没有的特性：极度集中。训练前沿模型需要的芯片、数据中心与电力，掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆：出口管制用它卡能力的扩散，追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。

国产 AI 芯片（昇腾、寒武纪、海光等）在算力上快速追赶，但真正的差距不在芯片在软件栈。本篇以昇腾 CANN 为主例拆解国产算力栈的层次（驱动→运行时→算子库→框架适配）、与 CUDA 生态的真实差距点、以及国产替代的务实推进路径。

买卡太贵、云租赁太持续——算力采购还有第三条路：裸金属租赁、二手卡市场与托管算力。本篇拆解算力采购的四种模式（云 API、云租赁、裸金属、自购）、各自的成本结构、二手 GPU 市场的现实，以及中小团队的采购决策框架。

大模型的预训练要跑几周到几个月，而硬件故障是必然事件——断点续训（从 checkpoint 恢复训练）不是可选项，是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。

英伟达的市值故事常被讲成「卖芯片的赶上了 AI」，但芯片从来不是它最深的护城河——CUDA 生态才是。十六年前的一次软件豪赌，让每一家 AI 公司的训练代码都写在了英伟达的地基上；换掉芯片不只是换硬件，是重写整个技术栈。本文讲清这座护城河的构成、它为什么难攻，以及攻城者的三条路线。

AI 公司怎么估值？传统的软件估值（收入倍数、 Rule of 40）在 AI 公司身上频频失灵：训练成本前置、推理成本随收入增长、护城河存疑。本文讲清 AI 公司估值的真实逻辑——为什么「收入倍数」要打折、「算力资产」怎么记账、以及投资人真正在为什么付钱。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…

IT之家 9 月 18 日消息，在争夺顶尖模型性能的较量中，OpenAI 与 Anthropic 的竞争已进入白热化阶段。而这场较量的核心，正是训练与部署这些模型不可或缺的基础设施 —— 算力。 据纽约时报消息，过去几年里，OpenAI 在…

模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」，就能往模型里「放行为」。数据投毒研究证明：在网络级语料中混入极小比例的恶意样本，就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

从 Bengio 2009 的经典提出，到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程，梳理课程学习在深度学习与大模型中的实证进展与争议。

「哭声免疫法」一百年前流行过，后来被依恋研究推翻；今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效，且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。

「孩子平衡感差=感统失调，不练就晚了」——感统训练是早教市场最成功的焦虑生意之一。感觉统合理论本身是正经的 occupational therapy 概念，但它的大众化诊断被严重注水：正常孩子发育中的笨拙被批量包装成「失调」，高价课程收割的是家长的恐慌。本文讲清感觉统合的学术真相、哪些信号真正值得就医、以及家庭里免费的替代方案。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

Search Engine Journal 报道，Google、Microsoft 与 OpenAI 计划支持共享的 AI 训练退出标记，站点通过一行 robots.txt 即可向多家提供商同时声明拒绝。

彭博社披露，Anthropic 在 IPO 前季度营收同比增约 12 倍至近 170 亿美元，并计划投入超 8950 亿美元算力支出。

OpenAI、Google、Microsoft 与 Anthropic 宣布共同支持 robots.txt 中的 __usage_ai-training 令牌，网站一条声明即可统一拒绝 AI 训练抓取，Google 与 Microsoft 计划 2027 年落地。

世界银行集团提议非洲各国政府以租用共享 AI 算力的方式替代各自新建数据中心，降低非洲使用 AI 的基础设施门槛。

10 月 8 日《华尔街日报》与彭博社报道：博通正为 OpenAI 的定制 AI 芯片安排超 500 亿美元融资，与阿波罗、黑石等私募信贷机构早期洽谈；同日《金融时报》曝出 SpaceX 正洽谈约 400 亿美元买英伟达芯片，博通还在为 Anthropic 筹集 600 亿美元。芯片采购的钱开始大规模来自债券与私募信贷，而非利润与股权——AI 算力的融资结构正在换轨。本文梳理交易结构与「循环交易」争议。

一年时间，OpenAI 与英伟达、AMD、博通、甲骨文、微软签下约 1.4 万亿美元量级的算力承诺——芯片商既是供应商，又是投资人，如今还亲自组织债务融资。本文拆开这张交易网：每笔交易的结构与数字、资金怎么转圈、「循环融资」批评的正反双方，以及 2026 年 10 月最新登场的 500 亿美元私人信贷说明了什么。

8 张 GPU 卡的需求、只有 5 张的库存，AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型（ClusterQueue/LocalQueue/Cohort）、准入状态机、公平共享与抢占机制，给出生产落地建议。

以十个问答讲清 Scaling Laws：幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量，以及这门「经验定律」对大公司与创业者的不同含义。

AI 的尽头是电力——训练要电、推理要电、冷却要电，数据中心正在成为全球电力需求增长最快的板块之一。科技公司签核电、买风电、自建电厂，电力公司成了 AI 产业链的隐形玩家。本文算清 AI 的能源账：电花在哪、账单有多大、以及「算力向电力富集区迁移」的产业重构。

提出一种无需重训的方法，通过可松弛的神经元与注意力头联合排序，将预训练 Transformer 转化为可随算力预算动态伸缩的单一模型。

从 FedAvg 到差分隐私大模型训练，梳理联邦学习与大模型结合的技术现状：记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

台积电的先进制程是算力供应链最著名的一张「卡」（库内已有专文），但第二张卡正在浮出水面：HBM 内存与 CoWoS 封装——AI 芯片的性能瓶颈已经从「算得快」转移到「喂得饱」，而喂料口握在 SK 海力士、三星与台积电手里。

通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯，通用模型学不到。Embedding 微调用领域数据做对比学习训练，让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。

每一颗 AI 芯片的背后，是一条环节高度集中的供应链：设计靠 EDA 三巨头与 IP 授权，制造靠台积电的先进制程，设备靠阿斯麦的 EUV 光刻机，存储靠 HBM 三强。AI 让这条本就集中的链条更加集中，也让「单点」成为全球科技产业最敏感的词。本文画一张先进算力的供应链地图，看清每个节点的集中度与脆弱性。

Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元，并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。

鹭羽* 2026-10-11 13:22:38 来源：量子位 马斯克连横A社，硅谷VC开始囤GPU 鹭羽 发自 凹非寺 量子位 | 公众号QbitAI 没招了！硅谷为了争夺AI算力已经**彻！底！疯！狂！** 就连A社CEO Dario …

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

端到端架构解决了「怎么开」，却顺手摧毁了旧的验证体系——模块没了，没法分模块打分；而真实路测里程的需求随性能提升指数增长。2023 至 2026 年，行业给出的答案是世界模型：Wayve 的 GAIA 从生成器（GAIA-1）一路进化成闭环验证器（GAIA-4），英伟达把 Cosmos 做成开源底座，Waymo 基于 Genie 3 自建世界模型，理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。

范式成为《中国AI算力管理平台技术能力评估，2026》综合评分位列第一的厂商。]

IT之家 9 月 17 日消息，据财联社报道，华为副董事长、轮值董事长汪涛今日（9 月 17 日）在上海举行的华为全联接大会上介绍华为面向智能时代的重要部署： 一是华为 AI 战略的核心是算力，坚持硬件变现 ； 二是“超节点 + 集群”，打…