大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

提出通过测试时训练学习文档级紧凑KV缓存，在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

「先更新数据库再删缓存」几乎是每个人的默认写法，但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演，讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛，以及生产环境的组合拳与避坑清单。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

LRU 只看「多久没用」，LFU 还要看「用得多不多」——多出来的这层频率账本，让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构，逐段讲透驱逐与晋升的每一步，最后用本地测试跑通边界用例，顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。

LRU 缓存要求 get 与 put 都做到 O(1)，单靠哈希表或单靠链表都做不到。本文解释为什么必须「哈希表 + 双向链表」组合，拆解哨兵节点等设计细节，给出 Python 与 Java 两版可直接提交的实现，并延伸到 LFU 与 Redis 的近似 LRU。

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）…

缓存集群从 10 台扩到 11 台，取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步，把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体，以及工程落地清单。

Autoregressive video diffusion supports streaming generation and interactive control, but its KV cache grows continuousl…

When agentic sessions run to a million tokens with many sessions resident at once, the KV cache and the index that ranks…

The KV cache is a primary bottleneck for Transformer decoding: its memory footprint and cache-read traffic grow with seq…

提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间并给出可求解的谱闭式解，在token级稀疏注意力中兼顾选择精度与解码延迟，降低长上下文LLM解码中占主导的KV缓存流量。

IT之家 10 月 2 日消息，Chiphell 论坛用户 @灵乌路空 9 月 28 日分享了一款 AMD Socket AM4 平台处理器工程样品的信息。 该处理器代号 "100-000000652"，属于 "Zen 3" 微架构的 "V…

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

「这个元素我见过吗？」——这个问题哈希表要用全部 key 的内存来回答，布隆过滤器只需要每元素不到 10 个 bit：它可能把没见过的说成见过（1% 概率），但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除，以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

单日涨星破千的老牌项目迎来第二春：三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image；comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型；执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

Recent multi-agent LLM systems increasingly combine heterogeneous models for specialized agent roles. However, text-base…

Latent communication passes internal states between language models instead of decoded text, but higher receiver accurac…

Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generatin…

Diffusion Large Language Models (dLLMs) have recently emerged as a promising alternative to autoregressive LLMs by enabl…

The widespread adoption of long-horizon agents has made model workloads increasingly input-heavy. Although prior work ha…

Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

Java 25 是继 21 之后的又一个 LTS：紧凑对象头转正、简单源文件定稿、Scoped Values 定稿、AOT 缓存一条命令可用。本文以官方 JEP 为准过一遍关键特性，并复盘虚拟线程落地三年的生产经验——pinning 的来龙去脉、适用边界与响应式编程的取舍。

从取模分片的痛点讲起：普通哈希为什么一扩容就让几乎全部数据搬家；哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜；再用可运行的对照代码，对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。

IT之家 9 月 29 日消息，苹果今日向 Mac 电脑用户推送了 macOS 27.0.1 更新（内部版本号：26A434），本次更新距离上次发布正式版间隔 14 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到…

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

IT之家 9 月 10 日消息，苹果今日向 iPad 用户推送了 iPadOS 26.7 更新，本次更新距离上次发布正式版间隔 1 天。 需要注意的是，因苹果各区域节点服务器配置缓存问题，可能有些地方探测到升级更新的时间略有延迟，一般半小时…

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

看 GPU 规格表，带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作，把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点，以及它为什么既是 AI 芯片的标配，又是整条产业链最紧的瓶颈。

论文提出分析内存单元（AMU），为智能体共享内存中的缓存结果附加完整派生（血缘）图谱，仅在请求者对涉及的所有列均有权限时才返回命中，以防止敏感数据经合法计算结果泄露，并证明该策略按构造可阻断此类检索。

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

Multi-Head Latent Attention (MLA) enables expressive multi-head attention with compact caches for its content and decoup…

Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although…

GPU 很贵，但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车，把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线，以及为什么它成了 AI 集群的标配。

科技早报汇总：苹果AI国行版或12月上线、ASML营收数据、存储设备涨价、企业微信与WorkBuddy打通、OPPO与Manus合作、美国多州起诉OpenAI、Modal巨额融资及黄仁勋谈AI安全等行业动态。

从 FP16 压到 INT4，体积与显存降到约四分之一，量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异，以及按显存逐级下降的选型决策表。