聊天界面「逐字蹦出」的打字机效果，背后是流式输出：服务端边生成边推、客户端边收边渲染。本篇拆解流式的技术栈（SSE 协议、token 增量与累积）、首 token 延迟（TTFT）为什么是体验的核心指标、流式的工程细节（中断、错误处理、统计口径），以及什么场景该关掉流式。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

llama.cpp 是本地推理生态的地基：纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线（GGUF 格式、量化内核、异构加速）、本地推理的完整决策链（硬件→量化档位→引擎选择）、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

GPU 很贵，但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车，把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线，以及为什么它成了 AI 集群的标配。

IT之家 10 月 24 日消息，据中国信通院，随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均词元调用量持续攀升，2026 年 6 月，**国内词元日均消耗量约 500 万亿**，是 2025 年 12…

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式，给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器，并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。

Multimodal large language models have become the dominant paradigm for visual understanding, but incur substantial costs…

LLM 流量与普通 API 流量差异巨大：响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测，并给出关键设计要点。

语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟，叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本，拆解 VAD、流式识别、首 token 与流式合成各环节，并对比级联与端到端两条架构路线。

NVIDIA announced a new 64GB configuration of DGX Spark — from Acer, ASUS, Dell, Gigabyte, HP and MSI — its GB10-powered …

Sarvam AI has released Saaras V4, the newest generation of its speech recognition model. It covers all 22 scheduled Indi…

GLM已经开始参与构建GLM了]

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。