长上下文不是把窗口开大就行：KV Cache 随序列长度线性膨胀，很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案（MQA/GQA/MLA）、稀疏与线性注意力的路线，以及「上下文长度」宣传数字背后的真实约束。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并给出可求解的谱闭式解，在token级稀疏注意力中兼顾选择精度与解码延迟，降低长上下文LLM解码中占主导的KV缓存流量。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

许多女性在孕期或使用口服避孕药时，经常会有忘记物品摆放、难以集中注意力的经历。这种常被戏称为“孕傻” （Mom Brain）的现象，长期以来缺乏明确的生物学解释。发表在《Science Bulletin》上的一项研究揭示了持续水平高雌激素并…

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

2024 年诺贝尔物理学奖颁给神经网络先驱不是终点：神经科学与 AI 正处在史上互动最密的时期——AI 借大脑的机制（注意力、预测编码、位置细胞），神经科学借 AI 的工具（把网络当模型大脑做实验）。本篇梳理双向启发的真实案例、已证伪的天真类比、以及「大脑作为架构参考」的开放清单。

「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟：模型记得开头与结尾，中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策，以及「位置偏差能不能被训练掉」的开放问题。

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

2012 年 10 月，一个用两块游戏显卡训练了五六天的神经网络，把 ImageNet 图像识别错误率从 26% 砍到 15%，整个领域为之改宗。此后五年：ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇，用一手论文数据复盘深度学习的黄金五年，也不回避这五年里的「炼金术」之争。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

八个摄像头各自看世界，每张图都是不同的透视——让它们对齐到同一张俯视网格里，是自动驾驶感知十年来的核心工程问题。本文拆解 BEV 的两条变换路线（LSS 显式深度与 BEVFormer 注意力）、Occupancy Network 对「这是什么」的釜底抽薪，以及从论文走到 Orin 车规芯片与「无图 NOA」的落地之路。

从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

IT之家 9 月 15 日消息，诺贝尔和平奖得主玛丽亚 · 雷萨（Maria Ressa）表示，人工智能先是借助社交媒体攫取了人类的注意力，又利用人类对亲密情感的本能诉求，干扰我们的生理心理；如果我们现在不通过立法加以限制，人类最终将会丧失…

法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型，以更小参数量比肩 Llama 2 13B，GQA 分组查询注意力等设计影响深远。

提出一种无需重训的方法，通过可松弛的神经元与注意力头联合排序，将预训练 Transformer 转化为可随算力预算动态伸缩的单一模型。

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

提出通过测试时训练学习文档级紧凑KV缓存，在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。

论文提出分块流式几何基础模型 Drive3R，通过分块因果注意力解决自动驾驶长序列多视图3D重建中GPU内存与全局注意力二次复杂度的瓶颈。

论文分析线性注意力循环状态量化误差在时间与空间维度上的不同影响，提出时空后训练量化框架STEPQuant以降低低精度量化带来的精度损失。

IT之家 9 月 16 日消息， 极狐阿尔法 T7 大五座 SUV 今日正式上市 ，提供增程、纯电两种动力，部分型号搭载华为乾崑智驾 ADS 5 Pro，全系标配宁德时代电池， 上市补贴价 13.28 万元起 。 IT之家注意到，极狐官方刚…

在被黑客利用攻击韩国银行之后，ARTEX 开发者 Autumn-27 宣布该工具闭源，但整个软件库随后下架。Autumn-27 在一份公开声明中表示：“近期，注意到 ARTEX 工具被部分恶意行为者滥用，用于发起网络攻击。作为 ARTEX …

IT之家 10 月 2 日消息，极氪汽车今日宣布，焕新极氪 007GT 色彩上新，带来全新外饰色河谷绿、全新内饰色墨绿。2026 年 10 月 1 日-10 月 31 日，下定焕新极氪 007GT 可享更多限时权益。 IT之家注意到，焕新极…

IT之家 9 月 29 日消息，随着 AI 模型竞赛持续升温，Anthropic 推出了旗下中端模型 Sonnet 的最新版本。该公司表示，新版模型运行速度会快得多，使用成本也较上一代大幅降低。 IT之家注意到，这家实验室将 Sonnet …

IT之家 9 月 28 日消息，今日有多名开发者注意到月之暗面 API 平台的后台模型注册表中出现了“kimi-k3-1”标识，该模型标识通过了接口探测并可调用。 今日晚些时候，Kimi 官方开放平台也出现了 K3.1 或 K3 11111…

IT之家 9 月 23 日消息，小米 18 Pro 系列手机已于今晚正式发布，搭载第六代骁龙 8 至尊版系列移动平台，后置徕卡 2 亿大底主摄 + 2 亿大底长焦，配备 AI 百变背屏，售价 5999 元起。 IT之家注意到，汇顶科技官方今…

IT之家 9 月 20 日消息，据易车今日报道，iCAR V27 长续航版将于 9 月 30 日上市，除了续航里程的提升，新车还将在座舱舒适、智能体验方面进行全面升级。 IT之家注意到，奇瑞 iCAR 首款增程 SUV 车型 V27 于今年…

IT之家 9 月 11 日消息，长城旗下魏牌今日宣布，MPV 标杆新一代，高山 8/9 PHEV 新版型 9 月 14 日开启下订。 IT之家注意到，根据规划， 新成员将与现款车型并行销售 ，两种风格、两种定位满足不同用户需求，现款限时权益…

IT之家 10 月 25 日消息，Anthropic 设计工程师蔡斯 · 麦科伊（Chase McCoy）昨日宣布，Claude 桌面应用已推出全新界面。 IT之家注意到，新版界面由 Claude 帮助设计，从草图到正式上线，整个过程不到 …

IT之家 10 月 24 日消息，随着 AI 技术突飞猛进，许多开发者在大模型辅助加持之下对各种老旧机型进行折腾，先前便有开发者为小米 Redmi Note 12 4G 手机刷入 iOS 系统，并开源了项目。 IT之家注意到，目前又有开发者…

IT之家 10 月 10 日消息，智己汽车今日宣布，智己 LS8 NEO 纯电“马上见”，全线控大五座旗舰 SUV，全系标配宁德时代电池，全系标配全线控灵蜥底盘。 IT之家注意到，智己 LS8 中大型增程 SUV 于今年 4 月上市，**五…

IT之家 10 月 8 日消息，微软今天在 Surface 新品发布会展示了多款第三方智能体工具。其中，Perplexity 的“便携电脑”工具能够端侧执行多种复杂 AI 任务，无需消耗 Perplexity 云积分。 IT之家注意到，微软…

IT之家 10 月 4 日消息，今日，国内首部 AIGC 长剧《后西游记》再上新。10 月 4 日起，第一季 · 战天宫篇将在湖南卫视、芒果 TV 双平台播出，10 月 9 日起，“剧好看”专区播出。 IT之家注意到，神话题材季播剧《后西游…

IT之家 9 月 29 日消息，苹果今日向 Mac 电脑用户推送了 macOS 27.0.1 更新（内部版本号：26A434），本次更新距离上次发布正式版间隔 14 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到…

IT之家 9 月 27 日消息，小米 18 Pro 系列手机已于 9 月 23 日晚正式发布，搭载第六代骁龙 8 至尊版系列移动平台，后置徕卡 2 亿大底主摄 + 2 亿大底长焦，配备 AI 百变背屏，售价 5999 元起。 IT之家注意到…

IT之家 9 月 25 日消息，长期关注国内手机市场份额的数码博主 @RD观测 今日发文，爆料了小米 18 Fold 手机的首销情况，9 月 7 日-9 月 13 日约 3.97 万台。 IT之家注意到，小米 18 Fold 中折叠手机发布…

美国《联邦公报》（Federal Register）网站被发现提供了基于阿里巴巴开放权重模型通义千问（Qwen）的 AI 搜索工具，具体部署时间未知，在被社媒用户注意到之后该工具于周三下线。此前 FBI 曾指控阿里巴巴蒸馏了 Anthrop…

IT之家 9 月 17 日消息，年度半导体产业展览会 SEMICON India 今日在印度首都新德里开幕。本次活动主体为“从芯片到系统：构建生态希望”， 吸引超 600 家企业参与 ，将持续到 9 月 19 日。 IT之家注意到，两大半导…

IT之家 9 月 13 日消息，据外媒 CNET 报道，Meta 确认现已修复 Meta AI 的一项功能缺陷。此前有媒体爆出相应功能可能主动向用户推荐涉及个人隐私的问题，并从用户可访问的信息中整理出包括儿童在内的个人资料。 IT之家注意到…

IT之家 9 月 13 日消息，《日经亚洲》当地时间今日报道称，富士通 (Fujitsu) 将最早从 2027 年开始向日本以外的亚洲、美洲市场出口其 2nm 工艺 Arm 指令集处理器 FUJITSU-MONAKA。 IT之家注意到，富士…

IT之家 9 月 10 日消息，苹果今日向 iPad 用户推送了 iPadOS 26.7 更新，本次更新距离上次发布正式版间隔 1 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到升级更新的时间略有延迟，一般半小时…