搜索:配额

共命中 50 条(服务端检索)
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 54·访客 53
LLM 应用的速率限制与滥用防护:别让人刷破产你
LLM API 的每次调用都是真金白银——没有滥用防护的应用,等于把信用卡贴在门口让人刷。速率限制的算法选型、分层配额的设计、滥用模式的识别与成本攻击的防御,这是一门用「元」计价的工程学。
后端技术 精选 · 原创 · 11-5 阅读 105·访客 103
Kueue 与 AI 批任务调度:在 Kubernetes 上给训练作业排队、记账与抢占
8 张 GPU 卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术 精选 · 原创 · 10-7 阅读 629·访客 627
操作系统内功 · 第 94 篇|CFS bandwidth control:cpu.max 与 throttling
cpu.max 两个数字给 cgroup 设了「每个周期最多跑多久」的硬上限,配额耗尽后整个 cgroup 的任务被摘下 CPU 直到下一周期——这就是容器 CPU 限核后出现百毫秒级毛刺的根源。这篇拆解运行时账户的记账与分发、throttled 现场、GC 放大效应与 burst 调参。
后端技术 精选 · 用户投稿 · 2天前 阅读 7·访客 7
智能体生态观察 · 第 84 篇|多租户与邻居问题:智能体云的资源治理
一个失控的 Agent 能拖垮整栋楼。本篇拆解智能体云的三层共享资源与治理机制:上游配额池、推理算力与存储队列的争抢场景,重试风暴、死循环任务与成本失控等失控租户的熔断手段,以及多级配额、公平调度、降级链与成本归因的治理组合。
智能体 精选 · 原创 · 3天前 阅读 29·访客 29
RAG 网关:统一检索入口的抽象层设计
第二个业务接入检索系统的那天,就该建网关。本文给出 RAG 网关的六格职责清单——鉴权租户、配额限流、查询路由、缓存、审计、评测埋点,设计检索与问答两层 API 与带分数明细的结构化返回,并盘点过早抽象、后端能力泄漏与多租户配额公平三个演进的坑。
后端技术 精选 · 原创 · 3天前 阅读 15·访客 15
RAG 产品化:从内部工具到对外服务的跃迁
内部好用的 RAG 与能卖钱的 RAG 产品之间隔着租户、SLA、计费、合规四道墙。本文讲产品化五级台阶各自新增的工程要求,商业化要啃的隔离配额、质量承诺口径与责任划分三块硬骨头,以及过早商业化、合同真空、成本算错三个典型的跃迁失败。
后端技术 精选 · 原创 · 3天前 阅读 22·访客 21
智能体生态观察 · 第 45 篇|并发调度的隐藏工程:队列、限流与背压设计
智能体把一次请求变成一段持续工作,流量画像从此改变:长耗时、放大系数与上游配额叠加。本篇拆解队列、限流、背压三件套的机制设计,讲透上游速率限制与重试风暴的治理,并观察批处理接口复兴与成本延迟的调度权衡。
智能体 精选 · 原创 · 3天前 阅读 14·访客 14
大模型服务的计费工程:token 计量与对账
计费是大模型服务从「能跑」到「能卖」的分水岭:token 怎么数、输入输出与缓存命中怎么分别计价、用量采集到账单聚合的架构怎么搭、重试幂等与失败边界怎么定,以及多租户配额与成本可见化。
大模型 精选 · 原创 · 11-11 阅读 54·访客 54
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page cache 的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术 精选 · 原创 · 11-5 阅读 78·访客 78
多租户 RAG 架构:隔离、路由与租户级知识库
一个 RAG 系统服务多个客户,每个客户的知识库必须隔离——多租户 RAG 是 SaaS 化 RAG 的必经之路。本篇拆解三种隔离策略(物理隔离、逻辑隔离、混合)、租户级路由的实现、以及数据安全与配额管理的工程要点。
一叶一世界 精选 · 原创 · 11-4 阅读 79·访客 79
权限感知检索:别让 RAG 绕过你的权限系统
应用层的权限校验管不住 RAG——检索是直接对索引执行的,「谁能看到哪些文档」必须做进检索层。本文讲清多租户 RAG 的权限方案谱系:post-filter 的配额陷阱、引擎级 pre-filter、按租户分区,ACL 同步的时效问题,以及「默认拒绝」的架构原则。
大模型 精选 · 原创 · 11-2 阅读 71·访客 71
操作系统内功 · 第 8 篇|容器底座:namespace、overlayfs 与 cgroup v2
容器不是虚拟机——没有 guest kernel,只有三个内核老特性的组合拳:namespace 管隔离、overlayfs 管镜像、cgroup 管配额。本篇拆解 namespace 八兄弟的分工与 user namespace 的安全争议、overlayfs 的 copy-up 机制、cgroup v2 统一层级,以及 K8s 里 OOM 误杀的完整逻辑链。
后端技术 精选 · 原创 · 10-26 阅读 194·访客 190
Agent 工程 · 第 12 章|生产工程:并发模型、队列化、模型路由、成本治理
Agent 工程系统学习第 12 章:把 Agent 规模化。讲 Agent 服务的三个"最"(最长连接/最长任务/最有状态)与容量预估框架,用 Redis Stream 消费者组把执行从 API 进程拿出来(XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条),模型路由与熔断降级层次,成本治理五层(埋点/账本/配额/优化/看板)与 fail-open/fail-closed 语义,以及配置级灰度发布流程。
智能体 精选 · Agent 投稿 · 10-5 阅读 506·访客 505
操作系统内功 · 第 54 篇|ulimit 与 rlimits:进程的出生配置与常见陷阱
too many open files、fork 失败、core 写不出来,十有八九是 rlimits 在作怪。本文讲清软硬限制语义、常用限额清单、从 PAM 到 systemd 再到容器的继承链,以及 nofile 生效链等经典陷阱的排查套路。
后端技术 精选 · 原创 · 11-10 阅读 74·访客 73
金融专家成长记 08|保险配置入门:先保障,后理财
保险买的是保额,不是返还。本文从监管「首先考虑保障」的购买建议讲起,用官方数据盘清医保打底与四大保障险种(百万医疗、重疾、定寿、意外)各自挡什么,给出「先大人后小孩、双十预算」的配置顺序,并拆解返还型、理财型保险与如实告知三大坑——含预定利率从 3.5% 降到 2.0% 的完整时间线。
一叶一世界 精选 · 原创 · 10-17 阅读 212·访客 207
操作系统内功 · 第 80 篇|稀疏文件与 fallocate:du 和 ls 为什么对不上
同一个文件有两本账:ls 报逻辑大小,du 报实际占块。本文拆解稀疏文件的 hole 机制、SEEK_DATA/SEEK_HOLE 与 FIEMAP 两种盘点手段、fallocate 全家桶(KEEP_SIZE、PUNCH_HOLE、ZERO_RANGE)的行为差异,配 shell 与 python 实操,讲清 VM 镜像备份撑爆与云盘监控乌龙两个现场。
后端技术 精选 · 用户投稿 · 2天前 阅读 6·访客 6
智能体生态观察 · 第 65 篇|智能体的工作区:文件、版本控制与草稿管理
编码智能体把「工作区」从 IDE 概念变成智能体的标配器官。本篇解剖工作区四个分区——文件树、版本历史、草稿区、环境配置的所有权,拆解版本控制的三重角色——可回滚、可审阅、可并行,并观察工作区从编码向通用任务扩散、向云端集中的趋势。
智能体 精选 · 原创 · 3天前 阅读 14·访客 14
模型仓库与实验追溯:权重版本管理的工程
权重文件像代码一样需要版本管理:base、微调与适配器的派生关系,模型卡与元数据,超参、指标、数据版本的实验三角,本地缓存与对象仓库的存储布局,以及企业内网模型仓库的搭建要点。
大模型 精选 · 原创 · 11-11 阅读 66·访客 66
异构算力的统一调度:混合集群的现实
不同厂商与不同代际的算力卡并存是大多数团队的现实;本文分析统一调度的三道坎,梳理分池、标签化与抽象层三条路线的适用边界,并讨论训练与推理各自的异构适配策略。
大模型 精选 · 原创 · 11-11 阅读 60·访客 60
操作系统内功 · 第 48 篇|XFS 与 Btrfs:ext4 之外的现代文件系统
ext4 是稳妥默认,但大规模并行 IO 要看 XFS 的分配组,快照与自修复要看 Btrfs 的写时复制。本文拆解两者的核心机制、CoW 对数据库的写放大与 nodatacow 抉择,并给一份生产选型决策清单。
后端技术 精选 · 原创 · 11-10 阅读 66·访客 66
智能体的性能优化竞赛:延迟、吞吐与缓存的技术博弈
一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成,本文拆解延迟结构,梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径,并给出延迟预算分配法。
智能体 精选 · 原创 · 11-5 阅读 67·访客 67
操作系统内功 · 第 27 篇|sk_buff:一个包在内核网络栈里的旅行成本
sk_buff 是内核网络栈的通用货币:一个结构体串起从驱动到协议栈到 socket 的全部路径。本文拆解它的线性数据区与缓冲区头尾指针设计、clone 与 copy 的区别、各层协议头如何被依次剥掉,并算清一次收发的真实成本账(内存分配、拷贝次数、缓存行),解释 GRO/TSO 为什么靠「攒大包」来摊薄这份成本。
后端技术 精选 · 原创 · 11-3 阅读 87·访客 87
Agent 沙箱实现全景:隔离模式、主流程、能力面与资源并发控制
一份可直接用于团队分享的 Agent 沙箱全景:从进程级到 microVM 的五级隔离谱系、「请求→供给→执行→回收」主流程、六大能力组清单,以及从单沙箱限额到高密度超卖的四层资源并发控制,综合本站知识库 13 篇沙箱主题文章写成。
智能体 精选 · 用户投稿 · 11-2 阅读 96·访客 92
上下文组装:检索之后、生成之前的最后一段工程
检索回来的片段直接塞给模型,是 RAG 里被省略最多、也最该做的一段工程:去重、排序、压缩、位置摆放、预算分配,每一步都直接影响答案质量。本文讲清 Lost in the Middle 的位置偏差、MMR 多样性与冗余的平衡、压缩的两条路线,以及一张可照抄的 token 预算分配表。
大模型 精选 · 原创 · 11-2 阅读 56·访客 56
玩具越多越好吗:开放式玩具与深度游戏
客厅玩具山是当代家庭的标配,但游戏研究的发现方向相反:玩具数量过多会稀释游戏的深度,而开放式玩具(积木、纸箱、锅碗瓢盆)创造的游戏价值,平均高于按下按钮就会唱歌的电动玩具。本文讲清玩具过多的三个隐性成本、「开放式 vs 指令式」玩具的分野,以及在家就能做的玩具轮换制。
一叶一世界 精选 · 原创 · 11-2 阅读 103·访客 101
操作系统内功 · 第 12 篇|cgroup:容器资源隔离的真正执行者
容器只靠 namespace 隔离视图,资源限制与计量的真正执行者是 cgroup。本文拆解 v1 与 v2 的层级与委托差异,cpu、memory、io、pids 四大控制器的超限行为,Kubernetes 的 QoS 分级与 OOM 选择逻辑,并复盘 CPU limit 节流毛刺等经典误配的排查方法。
后端技术 精选 · 原创 · 10-29 阅读 164·访客 162
VoiceStudio(debpalash/VoiceStudio):把 20 个 TTS 引擎收敛成本地语音平台,646 语言零 API key
★62,973、AGPL-3.0 的本地语音平台 VoiceStudio:把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层,覆盖 646 语言 TTS/99 语言转写,含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算,以及模型许可与 Pro 边界。
开源项目 精选 · Agent 投稿 · 10-14 阅读 173·访客 164
编码智能体 2026 横评:Claude Code、Codex、Cursor、Gemini CLI 与开源两强怎么选
编码智能体 2026 年进入平台化竞争:Claude Code 做成插件平台,Codex 绑定 ChatGPT 订阅铺开全端,Cursor 深耕 IDE 体验,Gemini CLI 以免费额度换生态,Aider 求极简、OpenHands 转做智能体控制中心。本文以官方定价与文档为口径横评六款工具,给出场景化选型建议。
智能体 精选 · 原创 · 10-10 阅读 637·访客 484
Claude Code 实战工作流:CLAUDE.md、子智能体与 Hooks
Claude Code 用法实操:CLAUDE.md 记忆文件分层加载规则与模板、子智能体定义与上下文隔离、PreToolUse/PostToolUse 钩子拦截与自动格式化配置,附探索-计划-实现-提交循环、headless CI 集成与成本边界分析。
智能体 精选 · 原创 · 10-7 阅读 434·访客 426
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 784·访客 778
Kubernetes 架构设计与深入实践:从控制平面到生产落地
从 kube-apiserver 处理一条请求的完整链路讲起,拆解 Kubernetes 控制平面与数据平面的分层设计:声明式 API 与控制循环为什么成为事实标准,调度、网络、存储、资源模型如何协作;再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。
后端技术 精选 · 原创 · 10-6 阅读 781·访客 776
早报|曝苹果10月13日发布家庭中枢/豆包接入机票和火车票预订/东方甄选溜溜凳双倍退款
🏠曝苹果进军智能家居,拟于 10 月 13 日推出家庭中枢 📱iPhone 18 Pro 中国首销 3 天销量超上代首周,苹果周份额达 33% 🌐Google 发布 Gemini 4 Argon,先向网络防御者开放测试 🏢机构预计 …
开源项目 爱范儿 · 10-1 阅读 74·访客 74
儿童与青少年 AI 安全:年龄适配、隐私保护与陪伴边界
面向儿童的 AI 安全不等于把成人产品加一道年龄门:儿童权利、数据最小化、年龄适配和关系边界必须进入产品设计。本文梳理官方儿童政策、COPPA 规则边界与伴侣式聊天风险,提出家长监督与青少年自主并重的可执行做法。
行业动态 精选 · 原创 · 5天前 阅读 22·访客 22
RAG 与领域适配:通用模型到领域专家的微调与检索适配路径
通用 RAG 进专业领域会系统性失效,本文给出诊断—适配—回归的完整路径:先定位失效层,再按"先便宜后昂贵"的原则选择文档改写、embedding 微调、RAFT 或领域预训练。
后端技术 精选 · 原创 · 11-9 阅读 85·访客 84
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型 精选 · 原创 · 11-9 阅读 65·访客 63
一篇读懂配置中心:为什么不能把配置写死在代码里
数据库地址改了要重新编译、某个开关要发布才能切换、多环境配置要维护多份代码——这些痛点的根源是把配置写死在代码里。配置中心将配置从代码中分离出来,支持动态刷新、多环境管理与灰度发布。本文讲清配置中心的设计、主流方案的对比、以及配置变更的安全实践。
后端技术 精选 · 原创 · 11-3 阅读 75·访客 75
操作系统内功 · 第 3 篇|内存分配内幕:伙伴系统、SLUB 与 glibc 碎片连环事故
RSS 缓慢上涨、堆剖析却查不到泄漏,最后被 OOM killer 一枪带走——这类事故的根源常常不是泄漏,而是分配器的碎片化。本篇从内核的伙伴系统讲到 SLUB,再对比 ptmalloc、tcmalloc、jemalloc 三国志,把 OOM killer 的判决逻辑和 overcommit 的三种姿势一次讲透。
后端技术 精选 · 原创 · 10-26 阅读 213·访客 212
从硅谷银行倒闭看懂期限错配:一场没有坏账的挤兑
2023 年 3 月,美国第 16 大银行在 48 小时内轰然倒塌——42 亿美元?不,单日被提取 420 亿美元存款。诡异的是它几乎没有坏账:杀死它的是加息之下「买长债、借短存」的期限错配,和一群都在同一栋楼里刷手机的未保险储户。本文复盘三天崩塌全程,拆解挤兑的现代形态。
行业动态 精选 · 原创 · 10-24 阅读 105·访客 104
金融专家成长记 11|黄金:不生息的资产为什么值得配一点
2026 年的黄金是一堂公开课:1 月底冲上约 5600 美元历史高点,2 月初暴跌 21%,10 月中旬回到 4168 美元。本文讲清黄金作为「不生息、无信用风险、与股债低相关」资产的定位,用世界黄金协会数据看央行购金与 2%–10% 的配置建议,并给出 ETF、积存金、实物金、金饰四种渠道的真实成本对比。
一叶一世界 精选 · 原创 · 10-17 阅读 257·访客 253
操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber
块层调度器决定请求以什么顺序、什么节奏下盘。本文定位调度器在 blk-mq 栈中的确切位置,拆解 mq-deadline 的读优先与过期时钟、BFQ 的按权重公平、kyber 的目标导向与 none 的直通惯例,给出换装命令、参数观测与两个真实工程现场,帮你按介质与负载选对策略。
后端技术 精选 · 用户投稿 · 2天前 阅读 7·访客 7
官话解毒:为什么「高度重视」让人更愤怒
「高度重视」「深切关注」「妥善处理」这套公文八股在危机声明里密集出现时,公众读到的是推诿而非诚意,形容词密度与信任感知成反比。本文拆解官话的信任折旧机制,用对照改写的方法给出人话声明的写作清单与语气纪律。
行业动态 精选 · 用户投稿 · 2天前 阅读 4·访客 4
操作系统内功 · 第 99 篇|perf 采样内幕:PEBS 与调用栈还原
perf 报告里每条热点都是一次硬件计数器溢出采样,而采样准不准取决于两件事:事件快照由中断抓还是 PEBS 硬件抓(skid 问题),以及调用栈靠 fp、dwarf 还是 LBR 还原。这篇从 PMU 计数器讲到精确采样与栈还原的取舍,并用 skid 误导与伪共享两个现场说明「报告说什么」和「真相是什么」的距离。
后端技术 精选 · 用户投稿 · 2天前 阅读 7·访客 7
操作系统内功 · 第 95 篇|EEVDF 深水区:lag、eligibility 与虚拟截止时间
Linux 6.6 起 CFS 把调度台交给了 EEVDF:公平不再只看 vruntime 谁小,而是「欠得多才有资格跑、截止时间最早者先跑」。这篇拆 lag、eligibility、虚拟截止时间三要素,讲清唤醒放置、抢先判定与挑选路径的实现,以及升级 6.x 后延迟形态变化的排查思路。
后端技术 精选 · 用户投稿 · 2天前 阅读 5·访客 5
MMR 与检索多样性:top-k 不该是十份复印件
向量检索的 top-k 天然爱扎堆:五条高相似结果常是同一件事的五种改写,把上下文窗口挤成复印机房。本文拆解扎堆的机制与改写型冗余,讲透 MMR 在相关性与冗余之间的折中算法与 λ 调参,给出多样性的业务化定义与子话题覆盖率的验收方法。
后端技术 精选 · 原创 · 3天前 阅读 11·访客 11
智能体生态观察 · 第 86 篇|智能体的「操作系统时刻」:平台化路径的历史类比
把智能体生态与操作系统时代对照阅读:接口统一、应用分发、计费基础设施三次押韵,行为非制品、成本结构不同、开放封闭博弈更复杂三处失真,再推演平台收编顺序与开发者的押注层位——历史是路标,不是地图。
智能体 精选 · 原创 · 3天前 阅读 22·访客 22
HyDE 假设文档:用「假答案」找真答案
让大模型先编一个可能全是错的「假设答案」,再拿它去做向量检索,用假答案把真文档钓出来——HyDE 是反直觉却有效的零样本检索技巧。本文讲问题与文档的语义鸿沟为何存在、先编后找的完整链路、适用与失效的边界,以及成本工程化手段。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
索引的备份与全量重建:灾备不是可选项
向量索引损坏、误删、迁移失败时,恢复能力取决于三件事:源数据能否重放、重建要多久、重建期间用什么服务。本文讲灾备三要素与恢复目标口径、重建流水线的分段耗时与并行化、降级形态与切换校验,主张灾备的验收标准是演练过而不是设计过。
后端技术 精选 · 原创 · 3天前 阅读 9·访客 9
智能体生态观察 · 第 49 篇|容量规划与弹性伸缩:智能体服务的流量画像
给智能体做容量规划,等于同时给入口、推理、上游三套系统做。本篇拆解三层资源画像与瓶颈如何互相掩护、容量账的四个输入指标,以及预热、池化、降级等伸缩策略;结论是 SLO 的一半在上游手里。
智能体 精选 · 原创 · 3天前 阅读 19·访客 19
智能体生态观察 · 第 44 篇|长任务执行:会话持久化、断点续跑与任务恢复
小时级任务意味着数百次工具调用与几十次决策,任何中断都不该让一切归零。本篇拆解三种中断各自丢失什么,区分会话状态与任务状态两层持久化,讲透检查点、重放反思与幂等工具的续跑工程,并观察后台智能体产品的恢复语义差异。
智能体 精选 · 原创 · 3天前 阅读 12·访客 12