推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程：SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标（TTFT/TPOT 的分位数）、错误预算的纪律、以及容量规划的三步法。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

最好的危机公关是不发生危机——而「不发生」不是运气，是一门叫「议题管理」（issues management）的学科：扫描可能引爆的议题、提前布局回应、在小火苗阶段灭火。它比危机响应便宜十倍，也寂寞十倍。

订阅、API、企业合约——三家头部实验室的营收结构各有侧重，商业模式的选择决定了它们各自的护城河与软肋。把三本收入账摊开对比，AI 行业的核心博弈就清晰了。

DevSecOps 把安全装进了软件的 CI/CD，MLSecOps 把同样的哲学装进 AI：模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火，要靠流水线的门禁。

企业安全治理清单篇给了一张「做什么」的清单，这篇回答「谁来做什么」——AI 治理的组织设计：治理委员会的构成、三道防线的划分、以及一个正在成形的新角色：AI 风险负责人。

备份是数据库运维的「最后防线」——但很多团队的备份从未恢复过。全量、增量、日志备份的三层体系，PITR（时间点恢复）的原理，以及「备份的可用性」只有靠恢复演练来证明。

黄金四小时的前提是你「四小时前就知道了」。舆情监测不是买一套监测系统就完事——它的核心是信号分级（什么值得看）与响应路由（看到了做什么）。把雷达的工程学讲清，危机的发现时点能提前一半。

危机公关的每个动作都对准外部，却常忘了最近的听众——员工。他们既是信息的搬运工（每一个都会发朋友圈）、也是品牌的活话筒（说错一句话等于一个负面信源）。内宣先于外宣，是危机管理的一条铁律。

单机 Cron 定时任务在分布式下的三个死穴：重复执行、单点故障、无管理界面。分布式调度中心（XXL-Job、Quartz 集群、Elastic-Job）如何解决——以及「时间轮」「错峰」「幂等」这些调度系统绕不开的设计。

DNS 是互联网的「电话簿」，也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现（GeoDNS）——以及 DNS 劫持与 DoH 的攻防。

超时是稳定性工程中最容易被忽视的配置——连接超时、读超时、写超时、事务超时、网关超时……每一层都有自己的超时，它们的组合关系构成一个「金字塔」。超时配错的表现：莫名重试、连接堆积、级联故障。这篇把超时体系一次讲透。

模型层被巨头锁死、应用层卷成红海，但 AI 基础设施层（Infra）的创业窗口反而变宽了：GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。

RAG 上线后的调试比开发期更难：真实流量的多样性、检索质量的隐性退化、生成质量的持续漂移——生产监控是 RAG 运营的眼睛。本篇拆解 RAG 监控的四个层面（检索层、生成层、用户层、系统层）、调试的方法论，以及 bad case 的管理流程。

LLM 推理服务的伸缩比普通服务难：副本启动要加载几十 GB 权重（冷启动分钟级）、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。

白天推理高峰、训练占卡；训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式（抢占、分区、弹性分区）、以及「在线优先」的调度纪律。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

OpenHands（原 OpenDevin）是开源自主编码智能体的旗舰：沙箱化的执行环境、事件流架构、浏览器与终端的全能力。本篇拆解它的架构（事件流、运行时沙箱、代理抽象）、与 SWE-bench 的渊源、社区驱动的基准成绩，以及「自主智能体开源化」的意义与边界。

RAG 系统的每个环节都可能失败：检索超时、向量库不可达、嵌入服务限流、LLM 超长——可靠性工程让 RAG 在部分失败时仍有合理的输出。本篇拆解 RAG 各环节的故障模式、降级策略与容错设计，以及「部分失败不等于系统失败」的架构原则。

一个 RAG 系统服务多个客户，每个客户的知识库必须隔离——多租户 RAG 是 SaaS 化 RAG 的必经之路。本篇拆解三种隔离策略（物理隔离、逻辑隔离、混合）、租户级路由的实现、以及数据安全与配额管理的工程要点。

买卡太贵、云租赁太持续——算力采购还有第三条路：裸金属租赁、二手卡市场与托管算力。本篇拆解算力采购的四种模式（云 API、云租赁、裸金属、自购）、各自的成本结构、二手 GPU 市场的现实，以及中小团队的采购决策框架。

「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

一套推理服务服务一百个客户：一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术（资源隔离与逻辑隔离）、配额与公平调度、以及噪声治理的工程手段。

MCP（模型上下文协议）从 Anthropic 的开放标准长成了智能体生态的 USB-C：server 目录爆发之后，生态的重心正从「有没有」转向「好不好」。本篇观察 MCP 生态的结构（官方、社区与企业三层）、质量分层的信号、以及协议竞争格局下 MCP 的生态位。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

开源 AI 模型的「免费」是当代科技产业最奇特的经济学：数以百亿计的算力与人力被投入，产出以零价格发布。谁在买单？为什么买单？免费模型的存在如何重塑商业格局？本文讲清开源 AI 的四种买单模式、搭便车者的生存术，以及这个特殊生态的可持续性问题。

微服务架构中，客户端需要调用几十个后端服务——每个服务都做认证、限流、日志，是巨大的重复。API 网关是所有请求的统一入口：路由分发、认证鉴权、限流熔断、日志聚合在网关层统一处理。本文讲清网关的职责边界、主流网关的对比、以及「什么该放网关、什么不该放」的分界。

智能体生态里开源与闭源的关系，不是「谁取代谁」而是清晰的生态分层：闭源产品占消费级与开箱即用，开源框架占定制化与自托管，两者之间有一个正在变厚的「组合层」。本篇观察分层的结构、各层的选择逻辑、以及数据与能力在两层之间的流动方向。

当日涨星 920 的开源编码智能体控制面：拆解它「执行留在环境侧」的三层架构、SQLite 事件溯源与意图/副作用分离、跨 provider 的 delta handoff 图模型、五类可复现场景与横向对比，并如实标注默认 Full access 权限、只到 worktree 的隔离与 0.1.x 早期风险。

「系统变慢了」是最难的工单——工具人人都有，方法论才分高下。系列收官篇讲透三套底层功法：给每个资源问三个问题的 USE 方法、让热点自己浮出来的火焰图、以及 P99 为什么比均值重要的尾延迟理论，外加压测圈最大的谎言「协调遗漏」。

2025–2026 年智能体身份与权限架构快速收敛：MCP 把工具服务端定义为 OAuth 2.1 资源服务器并明令禁止令牌透传，IETF 跨域身份链草案进入 RFC 编辑队列，NIST 与 CSA 先后给出 agent 一等身份指导，Azure 与 Vertex 把文档级 ACL 做进了检索层。本文把材料拆成身份、授权、数据三层，梳理一套可落地的智能体知识库权限架构，并把仍在争论的问题摊开。

单日涨星 829 的 MIT 开源 ADE：95,314 星的 Orca 以 worktree-per-task 做隔离，用三层共享路径让干净 checkout 可用，用 Run/Task/Dispatch/Message/Decision gate 把多智能体协调写成有权威来源的状态机，并以九条件准入休眠压住内存成本。

★62,973、AGPL-3.0 的本地语音平台 VoiceStudio：把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层，覆盖 646 语言 TTS/99 语言转写，含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算，以及模型许可与 Pro 边界。

★58,992、AGPL-3.0 的本地代理 free-claude-code：在 :8082 接住 Claude Code、Codex 等 11 个编码智能体，再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复，以及 Python 3.14.7 锁版本、密钥集中等真实边界。

Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。

MCP 连接智能体与工具，A2A 负责智能体之间怎么对话。Google 发起、现由 Linux Foundation 旗下 AAIF 治理，最新版本 1.0（截至 2026-10）。Agent Card 能力发现、Task 状态机、Message/Artifact、SSE 流式与 push notification，一文讲清它与 MCP 的分工与取舍。

Sensors are useful not only for understanding the world but also for deciding what to do next. Existing sensor models ho…

Automated research systems increasingly run LLM agents over long horizons, but more inference does not by itself produce…

开源权重与闭源 API 是两种供给模式：一个靠生态与自部署取胜，一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河，解释「落后但够用」的动态平衡，并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。

选模型 API 的本质是选供给关系，不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图，逐条展开七项评估清单，并给中小团队一条从网关起步的务实路线。

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Vectorize 开源的智能体记忆系统 Hindsight（当日涨星 +4,463、★37,121、MIT）：以世界事实/经验/观察/心智模型四网络替代扁平 RAG，LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制，附五个落地场景与竞品争议。

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

衡宇* 2026-09-24 08:48:02 来源：量子位 乔不迟 发自 凹非寺 量子位 | 公众号 QbitAI 过去评价一座数据中心，行业习惯看三个指标： 卡数、算力规模和PUE（电能利用效率）。 大模型进入规模化推理阶段后，这套标…

量子位的朋友们* 2026-09-23 17:56:53 来源：量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命…

一份可直接照做的 Jev 实操手册（2026-09-22）：从 state/questions/answers 三件套与 Choice/Score/Noul 三种原语讲起，给出 state 设计、置信度三档路由与阈值标定，Speculative fan-out 与 Composite scoring 两大模式，四个生产级配方（客服分诊 / Agent 工具护栏 / 模型路由 / 上下文压缩），并逐条拆解官方披露的九类失败模式，附成本、限流、版本管理与一页速查表。

从控制流与上下文的所有权出发，给出四条可执行的 Agent 工程原则：一切外部接入以工具体系形式接入且不注入系统提示词；逐级披露贯穿技能、工具发现、工具执行与记忆四个环节；Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系；并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构，以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。

把开发、交付和接单全打通了]