「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

「大促前系统能不能扛住」不能靠猜——全链路压测用真实的流量模型在预发或生产环境做完整的端到端测试。影子库隔离压测数据、流量标记区分真实与模拟、容量规划验证系统极限。本文讲清全链路压测的完整方案。

「大促要多少台机器？」——容量规划是每个架构师的必答题。从业务目标（PV/UV）到技术指标（QPS），从单机压测到资源推算，从余量设计到成本优化——容量规划是「把业务翻译成机器」的工程学。

「系统变慢了」是最难的工单——工具人人都有，方法论才分高下。系列收官篇讲透三套底层功法：给每个资源问三个问题的 USE 方法、让热点自己浮出来的火焰图、以及 P99 为什么比均值重要的尾延迟理论，外加压测圈最大的谎言「协调遗漏」。

看懂工具的机制，才知道每个工具的代价与边界。本文拆解三层观测工具的内核原理：strace 走 ptrace（为何它能让进程慢 10 倍）、perf 走 PMU 与 tracepoint（采样统计与精确事件的分工）、BCC/bpftrace 走 eBPF（安全可编程的内核观测）。配合观测者效应（observer effect）的量化、火焰图的正确读法，收束整个系列的方法论：观测要分层、代价要计入。

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

视觉语言模型（VLM）的服务化与纯文本模型不同：图像的预处理管线、多模态 KV 的显存压力、请求的异构性（图+文的组合）。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。

长上下文不是把窗口开大就行：KV Cache 随序列长度线性膨胀，很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案（MQA/GQA/MLA）、稀疏与线性注意力的路线，以及「上下文长度」宣传数字背后的真实约束。

多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI，重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量（perf c2c）与消除（对齐填充），并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。

Cyble 资助的开源 AI SOC：OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警，提示词与工具调用全部落账本，响应默认必经人工审批。

一门 1992 年为 tcpdump 设计的过滤语言，三十年后成了云原生时代的「内核可编程层」：Cloudflare 用它单核丢弃一千万包/秒，Cilium 用它替换 kube-proxy，全行业却也在收紧它的权限。本篇讲透 eBPF 的验证器、CO-RE 可移植性、XDP 实战与安全争议。

RAG 要向量检索，不必急着引入专用库，pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参，附实测跑通的 SQL，以及维度上限、中文分词等真实的坑。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

Cloudflare 开源其漏洞发现流水线（VDH）的种子 security-audit-skill（GitHub 当日涨星 3,606、★10,418、MIT）：六阶段多智能体审计，覆盖台账 + 对抗验证 + 字段级证据契约。本文拆解其架构数据流与五类落地场景，并给出社区盲测数据（中位精确率 90%、依赖 CVE 覆盖 0%）与使用边界。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

提出通过测试时训练学习文档级紧凑KV缓存，在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。

压力不是情绪，是一套有器官、有激素、有负反馈回路的生理系统。HPA 轴怎么工作、皮质醇哪些时候是朋友哪些时候是敌人、为什么「肾上腺疲劳」是营销概念——把压力的生理学讲透。

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

黄金四小时的前提是你「四小时前就知道了」。舆情监测不是买一套监测系统就完事——它的核心是信号分级（什么值得看）与响应路由（看到了做什么）。把雷达的工程学讲清，危机的发现时点能提前一半。

检索回 10 篇文档塞进上下文——但其中 80% 的内容与问题无关。上下文压缩在「检索之后、生成之前」加一道减法：把检索结果的冗余删掉、把关键信息提出来。本篇拆解压缩的四种策略（抽取式压缩、摘要式压缩、选择性上下文、结构化压缩）与效果取舍。

AI 生成的文本、图像、音视频正在以假乱真，检测技术却在「猫鼠游戏」里节节被动。本篇拆解检测的两条技术路线（被动检测器与主动水印）、各自的可绕过性与部署现实、监管的强制水印要求，以及为什么这场军备竞赛的结构性劣势在防守方——以及什么才是现实的防御姿势。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

智能体开发的工具链已经膨胀到令人迷失：几十个框架、一堆网关、各种观测面板。本篇给出一张五层版图——接入层、编排层、能力层、运维层、验证层——逐层说明每层的职责、代表物种与选型要点，并用「最小工具链」原则收束：工具是用来删的，不是用来攒的。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三，本地部署因此成为可能。但「压完损失多少」取决于方法： naive 量化会毁掉模型，精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义，以及一张「什么位宽选什么」的决策表。

「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集，一切调优都是感觉。本文讲清 RAG 评测集的构建全流程：查询从哪来（真实日志最珍贵）、标注怎么标、分层设计（易/难/对抗/无答案）、防泄漏纪律，以及最小可行的评测 runner。

AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛，聚焦 AI 智能体时代的越狱攻防。

血压不是体检单上的孤立数字，而是心输出量与外周阻力的乘积。本文拆解血压的生成与调节机制，对照中国与 ACC/AHA 指南分级，解释高血压为何伤心脑肾眼，并用试验数字给降压药与生活方式干预算一笔「毫米汞柱」账。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

IM、推送、实时协作——长连接网关是「百万用户同时在线」的支撑者。单机连接数的极限推算、百万连接的分层架构、连接的注册与寻址、消息的推送链路——长连接网关的每一层都是工程账。

DNS 是互联网的「电话簿」，也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现（GeoDNS）——以及 DNS 劫持与 DoH 的攻防。

超时是稳定性工程中最容易被忽视的配置——连接超时、读超时、写超时、事务超时、网关超时……每一层都有自己的超时，它们的组合关系构成一个「金字塔」。超时配错的表现：莫名重试、连接堆积、级联故障。这篇把超时体系一次讲透。

推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程：SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标（TTFT/TPOT 的分位数）、错误预算的纪律、以及容量规划的三步法。

Dify 是最流行的开源 LLM 应用平台：可视化编排工作流、内建 RAG 管线、Agent 节点、模型管理与企业治理。本篇拆解它的产品分层（Chatflow/Workflow/Agent）、内建 RAG 的工程取舍、插件与模型接入体系，以及「低代码平台 vs 代码框架」的适用边界。

AI 数据中心的耗电是传统机房的三倍以上：一张 H100 要 700W，一个 10 万卡集群就是一座小城市的用电。本篇拆解数据中心电力的账本构成（IT 负载、PUE、供电链路）、冷却的技术路线（风冷到液冷）、以及「电力成为 AI 瓶颈」的产业含义。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

一套推理服务服务一百个客户：一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术（资源隔离与逻辑隔离）、配额与公平调度、以及噪声治理的工程手段。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

「si 列占满一个核」是高流量机器最经典的现象。本文从硬中断为什么要拆两半讲起，拆解 softirq 的机制（who触发、在哪跑、budget 限制）、NET_RX 的 NAPI 轮询路径、RSS/RPS 多队列分流，以及 RSS 单队列瓶颈与 irqbalance 的取舍，最后给出 si 异常的完整诊断流程。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

编译器与 CPU 都会重排内存操作，MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义，用 SPSC 环形队列的正反两版代码演示屏障的位置，并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。

2011 年 3 月 15 日，央视曝光双汇子公司收购「瘦肉精」喂大的生猪。作为中国最大肉类加工企业，双汇的应对经历了从措手不及到「万人经销商大会」的完整弧线—— anual 损失以十亿计。这个案例的价值在于它演示了「渠道型企业」的危机特殊性：你伤的不只是消费者，还有整条供应链的信心。

「上下文切换 1 微秒」是流传最广的性能迷信——直接成本确实小，间接成本才是大头。本文拆解三层账单：寄存器与内核栈的机械成本、缓存与 TLB 污染的间接成本、跨 CPU 迁移与 TLB shootdown 的核间成本；用 cs/pidstat/vmstat 的正确读法定位切换来源，并解释 Go 调度器、Java 虚拟线程、io_uring 如何各自偿还这笔债。

多个进程等待同一个监听 socket，新连接到来时全部被唤醒却只有一个能 accept——这就是惊群。本文拆解三代方案：accept 惊群的内核修复与 EPOLLEXCLUSIVE、SO_REUSEPORT 的多监听队列分流、nginx 的 mutex 与 fd 传递方案，量化各自的性能差异与适用条件，并解释为什么云原生网关几乎清一色选择 SO_REUSEPORT。

线程池是多线程编程的基础设施：复用线程避免频繁创建销毁的开销，控制并发度防止资源耗尽。但线程池的参数设计（核心线程数、最大线程数、队列类型与长度、拒绝策略）是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。

RSS 缓慢上涨、堆剖析却查不到泄漏，最后被 OOM killer 一枪带走——这类事故的根源常常不是泄漏，而是分配器的碎片化。本篇从内核的伙伴系统讲到 SLUB，再对比 ptmalloc、tcmalloc、jemalloc 三国志，把 OOM killer 的判决逻辑和 overcommit 的三种姿势一次讲透。

同样是发文件，普通路径要 4 次拷贝 2 次系统调用，Kafka 却能在一台普通机器上把消费速率顶到网卡极限——差距就在零拷贝。本篇算清 read+write 的完整拷贝账单，讲透 sendfile 与 SG-DMA 的两档进化、splice 与 mmap 的取舍，以及 nginx 与 TLS 时代的现实约束。

Java 25 是继 21 之后的又一个 LTS：紧凑对象头转正、简单源文件定稿、Scoped Values 定稿、AOT 缓存一条命令可用。本文以官方 JEP 为准过一遍关键特性，并复盘虚拟线程落地三年的生产经验——pinning 的来龙去脉、适用边界与响应式编程的取舍。

PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统，复合索引拿到 skip scan，虚拟生成列与 uuidv7 补齐开发者体验，pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析，梳理升级实操与行为变化，给出可执行的升级建议。