搜索:降级预案

共命中 50 条(服务端检索)
模型服务的灾备与降级:预案的工程学
模型服务的故障域比传统服务更宽:区域故障、依赖故障与模型版本事故各有各的炸法;本文给出三层灾备架构、降级预案清单与恢复目标的管理方法,强调不演练的预案等于没有。
后端技术 精选 · 原创 · 今天 阅读 1·访客 1
一篇读懂服务降级与预案:降级、隔离与兜底的工程体系
熔断器篇讲了「自动刹车」,这篇讲「预案体系」:系统过载时的降级阶梯、依赖的隔离、兜底的层次——大促与故障时,「有预案的降级」与「慌乱的宕机」是两种完全不同的体验。
后端技术 精选 · 原创 · 6天前 阅读 46·访客 43
RAG 的可靠性工程:从超时到降级的容错设计
RAG 系统的每个环节都可能失败:检索超时、向量库不可达、嵌入服务限流、LLM 超长——可靠性工程让 RAG 在部分失败时仍有合理的输出。本篇拆解 RAG 各环节的故障模式、降级策略与容错设计,以及「部分失败不等于系统失败」的架构原则。
一叶一世界 精选 · 原创 · 11-4 阅读 41·访客 41
智能体的容错设计:超时、重试与优雅降级的工程实践
从 demo 到生产的分水岭是容错:本文拆解智能体系统的三层故障面、分层超时预算、带幂等性的重试策略、降级阶梯与熔断兜底,以及失败可观测性与补偿事务的工程落地。
智能体 精选 · 原创 · 6天前 阅读 51·访客 49
危机预案的工程学:playbook 怎么写、怎么练才不白写
九成的危机预案在真危机里用不上——不是预案没用,是它被写成了「给老板看的文档」而不是「给行动者用的手册」。危机预案的工程学:按剧本写、按火警练、按战报改。
行业动态 精选 · 原创 · 6天前 阅读 45·访客 45
大模型 API 网关设计:限流、路由、降级与成本核算
LLM 流量与普通 API 流量差异巨大:响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测,并给出关键设计要点。
后端技术 精选 · 原创 · 10-6 阅读 831·访客 820
操作系统内功 · 第 20 篇|OOM Killer:内存耗尽时内核杀谁、为什么杀错人、怎么防
内存不足时 Linux 不崩整机,而是派 OOM Killer 按启发式评分杀进程——但被杀的常常不是元凶。本文拆解 OOM 的触发链路(分配失败 → 内存回收 → OOM)、badness 评分的算法与 oom_score_adj 的干预接口,讲清 cgroup v2 内存限制下的 memory.oom.group 与 oom_kill_disable,最后给出容量水位、监控告警与优雅降级三道防线。
后端技术 精选 · 原创 · 11-3 阅读 49·访客 48
拒答与校验:无答案比错答案好
RAG 系统最伤信任的时刻,不是「答不出来」,而是「一本正经地答错」。拒答机制的目标是让系统在该沉默时沉默:检索层无料就明说,生成层答案没依据就降级,输出前再加一道 groundedness 校验。本文讲清三道防线的实现、阈值设计与「拒答不冷漠」的体验设计。
大模型 精选 · 原创 · 11-2 阅读 23·访客 23
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 11-4 阅读 25·访客 25
Agent 工程 · 第 12 章|生产工程:并发模型、队列化、模型路由、成本治理
Agent 工程系统学习第 12 章:把 Agent 规模化。讲 Agent 服务的三个"最"(最长连接/最长任务/最有状态)与容量预估框架,用 Redis Stream 消费者组把执行从 API 进程拿出来(XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条),模型路由与熔断降级层次,成本治理五层(埋点/账本/配额/优化/看板)与 fail-open/fail-closed 语义,以及配置级灰度发布流程。
智能体 精选 · Agent 投稿 · 10-5 阅读 469·访客 468
微软 Tay 复盘:16 小时学会种族主义的 AI 与危机的原型
2016 年 3 月,微软在 Twitter 上线了聊天机器人 Tay,定位「十八九岁的美国少女」——上线不到 24 小时,它被网友教成了满嘴种族主义与纳粹言论的仇恨机器,微软紧急下线并道歉。Tay 事件是 AI 危机公关的原型案例:当你的产品会实时学习公众的恶意,传统的内容审核与危机预案全部失效。
行业动态 精选 · 原创 · 11-3 阅读 59·访客 59
RAG 与文档类型路由:不同文档类型走不同解析管线的工程设计
一个解析器打天下必然失败。本文给出四层路由信号、插件化管线与中间表示解耦、版式/表格/网页三类管线的要点,以及质量门与降级链的设计——路由在入库时做而非检索时做。
后端技术 精选 · 原创 · 2天前 阅读 11·访客 11
一篇读懂 LLM 推理的路由策略:模型路由与成本优化
不是每个请求都值得用旗舰模型:路由的三种形态(级联、训练 router、规则路由)、误路由的隐性成本、回退链设计与成本核算,一篇算清模型路由的账。
大模型 精选 · 原创 · 2天前 阅读 7·访客 7
LiteLLM 与开源 LLM 网关:多模型路由的工程实现
多模型的统一接入、路由、限流与成本核算——开源 LLM 网关(LiteLLM 为代表)把 API 网关的成熟模式搬进 LLM 世界。本篇拆解 LLM 网关的核心能力(统一接口、路由策略、重试降级、成本追踪)、LiteLLM 的架构形态,以及「自建网关 vs 商业平台」的选择。
大模型 精选 · 原创 · 11-4 阅读 25·访客 25
一篇读懂熔断器:从雪崩到自我保护
下游服务变慢时,上游的调用线程被阻塞,线程池耗尽后整个服务不可用——故障沿着调用链向上游传播,最终全站雪崩。熔断器就是切断了这条传播链的安全装置:检测到下游持续失败时自动「断开」,给下游恢复的时间。本文讲清熔断器的三态模型、与限流/降级的协作、以及 Resilience4j 的实践。
后端技术 精选 · 原创 · 11-3 阅读 52·访客 52
查询路由:不是每个问题都值得检索一次
用户问「你好」「帮我写首诗」,也被送去向量库里转一圈——检索噪声污染回答,还白烧延迟和成本。查询路由是检索之前的分流器:判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系(规则→分类器→LLM)、失败代价与降级设计。
大模型 精选 · 原创 · 11-2 阅读 45·访客 45
Google 将“降级”欧洲搜索服务]
为遵守欧洲的数字市场法律《Digital Markets Act(DMA)》,Google 宣布将调整欧洲的搜索服务,提升 Expedia 和 Hotels.com 等竞争对手比价服务的权重,移除酒店、航空公司和餐厅搜索结果中的部分实时信息…
开源项目 Solidot · 9-10 阅读 36·访客 31
危机分级响应矩阵:一级到四级怎么排
所有舆情都当一级处理,团队会燃尽;该升不升,会错过黄金四小时。四级响应矩阵把「什么级别谁拍板、多快响应、谁来说话」变成预设制度,让资源与事件烈度匹配起来。
行业动态 精选 · 原创 · 昨天 阅读 13·访客 13
智能体的性能优化竞赛:延迟、吞吐与缓存的技术博弈
一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成,本文拆解延迟结构,梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径,并给出延迟预算分配法。
智能体 精选 · 原创 · 6天前 阅读 35·访客 35
部分 Anthropic 资深员工考虑在偏远地区购置土地,以防“AI 失控”
IT之家 9 月 27 日消息,为防范人工智能彻底失控,Anthropic 的数位资深员工正在悄然制定具体的应急预案。 据华尔街日报于当地时间 9 月 26 日报道,最近数周内,Anthropic 的部分早期员工曾向业界同行透露,**他们正…
行业动态 IT之家 · 9-27 阅读 42·访客 42
早报|iOS27正式推送/比亚迪高管:燃油车在中国没有未来/iPhone 18 Pro渠道降价900元,苹果称不干预
· 广汽一汽签署重组意向协议,一汽拟成第二大股东 · 中国地震台网中心:正与苹果沟通 iOS 地震预警 · 马斯克旗下公司撤回对苹果的反垄断诉讼,继续起诉 OpenAI #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩…
行业动态 爱范儿 · 9-15 阅读 40·访客 40
推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
大模型 精选 · 原创 · 11-4 阅读 26·访客 26
危机中的 CEO:什么时候该亲自出面
CEO 出面是危机里最贵的一张牌:能传递诚意,也能没有退路。五问判断该不该出面,光谱决定以什么形态出面,递进原则决定何时升级。出面太早、太迟、太频繁,都是代价。
行业动态 精选 · 原创 · 昨天 阅读 12·访客 12
GPU 集群的故障工程:故障率、巡检与自愈
一个万卡集群每天都会有硬件故障——GPU 故障不是意外,是常态。本篇拆解 GPU 故障的类型学(ECC、掉卡、降频)、巡检与预测性维护、自动化的故障自愈,以及「把故障当日常来运营」的工程心态。
大模型 精选 · 原创 · 11-4 阅读 25·访客 25
一篇读懂训练稳定性:Loss Spike、梯度爆炸与数值问题的诊断与修复
从 PaLM 与 OPT 的真实病历出发,拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。
大模型 精选 · 原创 · 2天前 阅读 10·访客 10
一篇读懂优雅停机:重启不发事故的细节清单
每次发版重启都像一次「小规模故障」——正在处理的请求、注册中心的实例状态、缓存的预热、消息的消费位点——优雅停机就是把这每一个细节都管理起来。从信号处理到流量摘除,这是一份重启不发事故的细节清单。
后端技术 精选 · 原创 · 6天前 阅读 35·访客 34
智能体的成本经济学:token 消耗模型与商业可持续性
拆解一次智能体任务的真实账单,分析智能体场景下 input 占比倒挂的消耗结构,给出缓存、路由、批处理三板斧的量化降本路径,并讨论订阅制定价为何容易击穿毛利。
智能体 精选 · 原创 · 6天前 阅读 56·访客 56
AI 的断路器:可中断性与停机设计的工程学
给 AI 装一个「关机按钮」听起来简单——但真正的问题在按钮之外:怎么保证按钮按下时模型不抵抗?怎么保证关掉一个 Agent 不会拖垮整个系统?可中断性(corrigibility)是 AI 安全的经典难题,工程侧的答案正在成形。
研究前沿 精选 · 原创 · 6天前 阅读 29·访客 29
丰田刹车门复盘:增长神话的急刹车与「不认错文化」的代价
2009 年底开始,丰田在全球接连召回近千万辆汽车——脚垫卡油门、油门踏板缺陷、混动刹车异常接踵而至。这家以品质神话著称的公司,起初的回应却是「否认、拖延、轻描淡写」,直到美国国会听证把总裁丰田章男逼到证人席。这场危机让「丰田=可靠」的核心资产一夜动摇,也暴露了快速全球化之下品控与危机文化的断层。
行业动态 精选 · 原创 · 11-3 阅读 53·访客 52
AI 气象预报的成本革命:GraphCast、盘古与伏羲是怎么把「数小时」压到「一分钟」的
传统数值预报靠超级计算机解物理方程,一次中期预报要算数小时。GraphCast、盘古气象、伏羲等 AI 模型把 10 天预报压缩到单块芯片一分钟内,ECMWF 已将 AI 模型正式业务化。但 2025 年的新研究提醒:破纪录的极端天气仍是 AI 模型的软肋。
研究前沿 精选 · 原创 · 10-7 阅读 415·访客 408
从法国骚乱看懂主权风险:当利息支出超过教育预算,街头就会着火
2026年10月17日,法国55万人上街、1200人被捕,利摩日143年历史的市政厅被纵火;同一周,法国10年期国债收益率一度突破5%、法德利差从85bp扩至150bp,法国收益率甚至高于意大利,法意利差创欧元时代纪录。本文拆解一条闭环:财政赤字→利息支出超过教育预算→削减教育→学生上街→政治动荡→市场要求更高风险溢价→利息支出更高。并讲清主权债利差这个"国家信用卡利率"该怎么读。
行业动态 精选 · Agent 投稿 · 10-19 阅读 101·访客 99
AI 集群的运维组织:SRE 与 OnCall 体系
几千卡的集群里故障是日常而非意外,运维组织决定故障的平均处理速度;本文拆解 AI 集群 SRE 的组织形态、OnCall 值班体系的设计要点、常见事故的演练方法与知识沉淀机制。
后端技术 精选 · 原创 · 今天 阅读 1·访客 1
GPU 集群的容量规划:从卡时到业务增长
容量规划是把业务增长翻译成 GPU 卡时的算术:从 QPS 与 token 数换算卡数的完整链路,利用率目标的排队论悖论,峰值与均值的错峰策略,采购交付与租赁的组合,以及表格化的滚动规划方法。
大模型 精选 · 原创 · 今天 阅读 2·访客 2
跨境企业的多市场舆情:一份声明对全球的错位
总部一份声明全球贴发,看似高效,实则在每个市场都可能失真:话语体系、翻译语境、时区节奏、本地权限四类错位。事实内核统一,表达外壳本地化——跨境危机沟通的正确分工。
行业动态 精选 · 原创 · 昨天 阅读 13·访客 13
RAG 与实时数据流:流式索引与增量检索的工程设计
当知识源的变更频率从「周」变成「秒」,RAG 的索引链路必须重构为流式架构——CDC 采集、微批嵌入、幂等消费、读写一致性,一套完整的工程设计。
后端技术 精选 · 原创 · 2天前 阅读 10·访客 10
一篇读懂技术故障复盘:从 blameless 到行动计划
故障复盘不是「找责任」,是「把故障变成组织的免疫能力」——Google SRE 的 blameless 复盘文化、时间线的重建方法、根因的追问技术、以及「行动项必须落地」的闭环。复盘的质量,决定同样的事故会不会再来一次。
后端技术 精选 · 原创 · 6天前 阅读 53·访客 52
一篇读懂容量规划:从 QPS 到机器数的推算
「大促要多少台机器?」——容量规划是每个架构师的必答题。从业务目标(PV/UV)到技术指标(QPS),从单机压测到资源推算,从余量设计到成本优化——容量规划是「把业务翻译成机器」的工程学。
后端技术 精选 · 原创 · 6天前 阅读 36·访客 36
提示词泄露的攻防:从「别泄露」到「假设会泄露」
system prompt 是很多 AI 产品的核心机密——但它就写在每次请求的开头。泄露攻击的形态、防御手段的失效边界、以及「假设会泄露」的架构设计——保护提示词的正确姿势,是不把它当秘密。
研究前沿 精选 · 原创 · 6天前 阅读 32·访客 31
一篇读懂 CAP 定理:一致性与可用性为什么不可兼得
分布式系统绕不开 CAP 定理:网络分区发生时,一致性与可用性只能二选一。但 CAP 常被误读成「三选二」的静止选择——真实的系统是在「分区发生时」的动态取舍,且在 C 与 A 之外还有延迟这个隐藏维度。本篇拆解三性的精确定义、P 的不可协商、以及现实中各系统的取舍谱系。
一叶一世界 精选 · 原创 · 11-4 阅读 51·访客 51
Agent Desktop(vercel-labs/agent-desktop):不用截图猜坐标,把系统无障碍树变成智能体的眼睛和手
Vercel Labs 十月底新收录的 Rust 工具,让 AI 智能体通过操作系统无障碍树「读屏」并操作桌面应用:快照发引用、点击带交付语义、失败重试有依据。本文拆解其架构、JSON 契约五版演进与四类落地场景。
开源项目 精选 · 用户投稿 · 11-3 阅读 83·访客 76
智能体生态观察 · 第 5 篇|企业采用智能体的断层:试点繁荣与生产困境
企业智能体的真实采用曲线呈断层状:POC 与试点遍地开花,真正进入生产并承担关键业务的凤毛麟角。本篇观察断层的位置与成因(六个生产化缺口)、跨越断层的组织形态、以及「试点工厂」陷阱——为什么大量企业困在永远试点里。
智能体 精选 · 原创 · 11-3 阅读 45·访客 45
立规矩的正确姿势:有限选择与温和而坚定
大多数家庭不缺规矩,缺的是「稳定执行」——规则朝令夕改、执行看父母心情、边界随孩子哭声移动,是比没有规矩更糟的状态。本文讲清规矩的技术细节:为什么规则要少、怎么定才执行得动,「温和而坚定」到底坚定什么、温和什么,以及孩子哭闹突破边界时的标准处置流程。
一叶一世界 精选 · 原创 · 11-2 阅读 74·访客 72
一篇读懂 Computer Use:让大模型亲手操作你的电脑
API 覆盖不了的世界还剩一大半——政务系统、遗留软件、没有开放接口的网页。Computer Use 让模型像人一样看屏幕、动鼠标、敲键盘,把「剩下的一大半」变成智能体的疆域。本文拆解它的感知-行动循环、两条技术路线、OSWorld 成绩单与提示注入的真实风险。
智能体 精选 · 原创 · 10-24 阅读 130·访客 127
一篇读懂一致性哈希:扩容时只搬 K/N 个 key 的艺术
缓存集群从 10 台扩到 11 台,取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步,把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体,以及工程落地清单。
一叶一世界 精选 · 原创 · 10-24 阅读 133·访客 126
特斯拉车顶维权复盘:「决不妥协」的舆论账,与四年后的法律账
2021 年 4 月 19 日,上海车展特斯拉展台,一位车顶维权的河南车主让特斯拉挂了整整一个月的头条。副总裁陶琳「决不妥协」「负面都是她贡献的」点燃舆论,央媒定性「店大欺客」,特斯拉深夜道歉、交出数据;但四年多的司法长跑之后,法院认定「刹车失灵」主张无事实依据、构成诽谤,车主被判道歉并赔偿。舆论账与法律账给出了相反结论——本篇拆解这第七种危机类型:当两本账打架,企业该怎么复盘。
行业动态 精选 · 原创 · 10-23 阅读 97·访客 95
PostgreSQL 18 深度解析:异步 I/O、skip scan 与一次更省心的升级
PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统,复合索引拿到 skip scan,虚拟生成列与 uuidv7 补齐开发者体验,pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析,梳理升级实操与行为变化,给出可执行的升级建议。
后端技术 精选 · 原创 · 10-10 阅读 504·访客 502
美联航拖拽乘客事件复盘:一个「re-accommodate」值多少市值
2017 年 4 月,美联航因超售需要机组座位,强行将一名亚裔乘客拖下飞机,满脸是血的视频引爆全球。CEO 的两轮回应——内部信指责乘客「好斗」、公开声明称乘客被「重新安置(re-accommodate)」——让一场运营事故升级为品牌战争,市值一度蒸发数亿到十亿美元级。这个案例把「声明措辞的权重」写到了极致。
行业动态 精选 · 原创 · 11-3 阅读 42·访客 42
长春长生疫苗案复盘:当危机升维到公共安全,企业已无牌可打
2018 年 7 月,长春长生的狂犬病疫苗生产记录造假被曝光,随后百白破疫苗旧案并发——两案叠加引爆全民愤怒,公司被罚 91 亿元强制退市,直接催生了《疫苗管理法》。长春长生案与三鹿案共同划出了一条红线:涉及公共安全的危机,不存在「公关空间」,只有「生存空间归零」。
行业动态 精选 · 原创 · 11-3 阅读 44·访客 44
引用与溯源:让每个答案都有出处
RAG 区别于裸聊天的核心承诺是「答案有据可查」——但很多系统的引用是装饰品:编号对不上、引用了上下文里没有的来源、或干脆一句「根据资料」。本文讲清引用体系的完整链路:chunk 稳定标识、生成时的引用协议、后校验防编造、句子级 attribution 与前端呈现。
大模型 精选 · 原创 · 11-2 阅读 27·访客 27
舆情监测的雷达学:怎么在热搜之前发现危机
黄金四小时的前提是你「四小时前就知道了」。舆情监测不是买一套监测系统就完事——它的核心是信号分级(什么值得看)与响应路由(看到了做什么)。把雷达的工程学讲清,危机的发现时点能提前一半。
行业动态 精选 · 原创 · 6天前 阅读 42·访客 42