从 FunSearch 把 cap set 下界从 496 推到 512，到 AlphaEvolve 五十六年来首次改进 4×4 矩阵乘法，再到陶哲轩带着 AlphaEvolve 一次测了 67 个问题——AI 正在从「解出已知的题」走向「产出人类未知的新构造」。本文梳理这条机器发现路线的方法演进与代表结果，也整理 METR 与陶哲轩本人最直接的质疑：这到底是数学发现，还是高级暴力搜索。

8月CPI、PPI接连落地后，CME FedWatch对9月16日FOMC加息25bp的定价从一个月前的48.4%飙升至85.6%（部分渠道报87%）。本文梳理概率演变轨迹与三大定价支柱，并系统拆解美元、美债、美股、黄金、加密、大宗、房地产与中国资产的传导链条、敏感度差异与情景矩阵。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

右上角二叉决策树

首行首列作标记位

四边界收缩

用户双击了支付按钮、网关超时重试、支付回调第三次重发——三件事撞在同一毫秒，订单只该创建一次。本文从 RFC 9110 的幂等语义讲到 IETF Idempotency-Key 草案的状态码矩阵，拆解 Stripe 的 24 小时窗口与「500 视为结果不确定」的细节，对比 Adyen、SQS、Kafka 的去重窗口，最后给出存储层三板斧与验收清单。

Agent 工程系统学习第 6 章：执行隔离让不可信代码在可控牢笼里运行。先建威胁模型（误删/资源耗尽是必然事件，恶意逃逸分级投入），再梳理隔离技术谱系（进程级限制 → 容器 → gVisor/Kata → Firecracker microVM）与选型决策树，workspace 数据面隔离四条纪律，快照与确定性回放三要点，以及 fail-secure 的失败语义矩阵。

基于 2026-09-22 独立研究整理：拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护（凭据代理替换 / tainted egress / 审批绕过模型）、Muse Spark 1.3 能力口径（AA 指数 61–62 vs Claude Fable 5.1 的 66）、定价与商业模型、三情景推演与风险矩阵，并给出核心判断——Agent 的天花板由平台开放意愿决定，而非模型智力。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

量子位的朋友们* 2026-09-23 18:35:16 来源：量子位 联想天禧AI携全场景多端产品矩阵亮相阿里云栖大会 9月22日至24日，2026云栖大会在杭州国际博览中心举行。本届大会以”智以致用”为主题，联想天禧AI携全场景多端产…

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

论文提出利用预训练流策略速度雅可比矩阵集中于对角线的观察，推导闭式标量伴随，替代逐步骤向量-雅可比乘积，以更低的计算成本对流策略进行离线强化学习微调。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

论文提出TIDES，一种选择性SSM变体，通过将输入依赖从时间步长转移到对角状态矩阵，使模型在保持选择性的同时原生处理不规则时间戳。

把 AI 计算放在最适合计算 AI 的地方去。 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

数岛屿的本质是在网格图上数连通分量。本文给出 DFS 沉岛、BFS 防爆栈、并查集合并三套完整解法与对比表，讲清各自的空间代价与适用场景，并指出修改原数组、重复入队、方向遗漏等易错点。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

接雨水是「按列求水」模型的经典困难题。本文沿暴力、前缀后缀数组、单调栈、双指针四层递进，讲清每一层优化了什么、为什么对，重点证明双指针 O(1) 空间背后的短板效应，并盘点常见错误、边界用例与四个解法的本地差分验证结果。

备案是中国生成式 AI 监管的主轴：算法备案与大模型备案双轨并行，2025 年 9 月起《人工智能生成合成内容标识办法》与强制性国标 GB 45438-2025 把显式/隐式标识义务落到像素级。本文面向开发者梳理法规层级、备案触发条件与落地清单。本文不构成法律意见。

爬楼梯是几乎所有 DP 教学的第一题：n 阶楼梯每次爬 1 或 2 阶，几种爬法？本文从「最后一步倒推」讲出递推式的直觉，展示暴力递归到 O(1) 空间滚动变量的三级演化，并解释为什么题目把 n 限到 45——那是一条整数溢出的边界线。

微调不是万能钥匙，但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调，再用 LoRA 原理加 LlamaFactory 三步实战，带你不改代码微调出自己的模型，并给出常见坑与最小评测法。

9月16日，网易有道「NEXT，AGENT｜有道AI Open Day」在北京举办。]

编辑距离是序列动态规划的珠穆朗玛：暴力递归是指数级爆炸，但状态数只有区区 25 万个。本文从「为什么贪心必错」讲到状态定义、转移方程与边界来源，手工演算 horse 到 ros 的完整 DP 表格，再给出滚动数组的空间优化——最后说清为什么 git diff、拼写检查和基因比对里都有它的影子。

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

欧盟 AI Act 2024 年 8 月生效，2025 年 2 月禁令条款先行，8 月起 GPAI 模型义务落地；原定 2026 年 8 月的高风险义务被 11 月的 Digital Omnibus 推迟。本文梳理截至 2026 年 10 月的完整时间线、罚则结构与开发者视角的合规要点。本文不构成法律意见。

CLIP（Radford et al., 2021）用 4 亿网络图文对做对比学习，零样本在 ImageNet 拿到 76.2%——追平全监督的 ResNet-50。本文拆解对比学习的训练机制、零样本分类的「提示词即分类器」玩法、CLIP 的失效模式，以及它如何成为多模态时代的地基。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

转置 + 水平翻转

Astral（Ruff 团队）用 Rust 写的 uv，一个二进制替代 pip、venv、pyenv、Poetry、pipx 等一串工具：官方基准快 10 到 100 倍、通用锁文件、Cargo 式工作区。本文讲清它的快从哪来、锁文件与工作区机制、2026 年的采用现状，以及迁移时真正会踩的坑。

深度学习不是 2012 年凭空出现的——1986 年反向传播论文就登上了 Nature，LeCun 的 LeNet 在 1990 年代替银行处理了一成支票。但同期的 SVM 凭理论保证把神经网络压到学科边缘，「两种文化」之争贯穿整个中场。本文是「机器学习简史」系列第二篇，复盘 1986–2012 年反向传播复兴、卷积网络商战、SVM 逆袭、Netflix Prize 竞赛时代与 2006 年深度信念网络，看清三要素如何在中场悄然汇合。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

智谱、MiniMax 年初上市后深度回撤，DeepSeek 与月之暗面带着新技术与新融资竞速 IPO，通义与豆包以生态碾压单点。本文以可核实数据梳理 2026 年国产大模型的资本座次、技术路线分化与商业化三条路。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。