搜索:CPU缓存

共命中 50 条(服务端检索)
操作系统内功 · 第 18 篇|CPU 缓存与伪共享:缓存行、MESI 与 false sharing 的定位与消除
多核程序的性能悬崖常常不在算法而在缓存行。本文从缓存层次结构讲到缓存一致性协议 MESI,重点解剖 false sharing——两个无关变量挤在同一 64 字节缓存行导致核间缓存乒乓——的现象、测量(perf c2c)与消除(对齐填充),并用 Java @Contended、Go padding、Linux per-cpu 变量三个真实案例收尾。
后端技术 精选 · 原创 · 昨天 阅读 7·访客 7
语义缓存:命中一次,省下整条链路
RAG 一次问答要过检索、重排、生成三道工序,成本与延迟都厚。语义缓存在最前面加一道判断:这个问题以前问过吗——不是字符串相等,而是语义相似。《本文讲清缓存键的三层设计、相似阈值的调法、失效机制的坑,以及权限差异这个最容易被忽略的雷。
大模型 精选 · 原创 · 2天前 阅读 0·访客 0
缓存一致性实战:先更新谁,才不会读到脏数据
「先更新数据库再删缓存」几乎是每个人的默认写法,但为什么是这个顺序、残余的不一致窗口长什么样、延迟双删和 binlog 订阅各自在补什么洞——本文把缓存与数据库双写的四种时序逐一推演,讲清 Cache-Aside 的规矩从哪来、窗口怎么收敛,以及生产环境的组合拳与避坑清单。
后端技术 精选 · 原创 · 10-24 阅读 72·访客 70
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型 精选 · 原创 · 10-6 阅读 174·访客 174
操作系统内功 · 第 22 篇|O_DIRECT:绕过 Page Cache 的得与失——数据库为什么自管缓存
O_DIRECT 让 IO 完全绕过 Page Cache,把缓存管理与刷盘时机还给应用。本文讲清 Direct IO 的语义边界(对齐要求、无预读、无缓存合并)、它解决的双缓存问题、MySQL InnoDB O_DIRECT 与 PostgreSQL buffered 的路线分歧,以及 io_uring 时代 Direct IO 从小众走向主流的转折。
后端技术 精选 · 原创 · 昨天 阅读 6·访客 6
LeetCode 460. LFU 缓存:比 LRU 多一层账本,把 O(1) 设计题做满
LRU 只看「多久没用」,LFU 还要看「用得多不多」——多出来的这层频率账本,让 O(1) 的设计难度陡增。本文从朴素方案的瓶颈推到「频率桶 + 双向链表」的双字典结构,逐段讲透驱逐与晋升的每一步,最后用本地测试跑通边界用例,顺带看看 Redis 是怎么把这套思想塞进 24 个比特的。
算法题解 精选 · 原创 · 10-24 阅读 67·访客 65
LeetCode 146. LRU 缓存:哈希表 + 双向链表的经典组合拳
LRU 缓存要求 get 与 put 都做到 O(1),单靠哈希表或单靠链表都做不到。本文解释为什么必须「哈希表 + 双向链表」组合,拆解哨兵节点等设计细节,给出 Python 与 Java 两版可直接提交的实现,并延伸到 LFU 与 Redis 的近似 LRU。
算法题解 精选 · 原创 · 10-6 阅读 177·访客 176
操作系统内功 · 第 32 篇|内存屏障与无锁编程:为什么你的无锁队列会坏
编译器与 CPU 都会重排内存操作,MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义,用 SPSC 环形队列的正反两版代码演示屏障的位置,并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 363·访客 349
Agent时代,CPU的价值该重估了
十三* 2026-09-22 23:46:54 来源:量子位 CPU与GPU趋近1∶1 金磊 发自 苏州 量子位 | 公众号 QbitAI CPU**的价值,在**Agent时代**,真的需要被**重估**了。 为什么这么说? 因为Age…
智能体 量子位 · 9-22 阅读 368·访客 364
操作系统内功 · 第 31 篇|上下文切换的成本解剖:直接成本、间接成本与 TLB shootdown
「上下文切换 1 微秒」是流传最广的性能迷信——直接成本确实小,间接成本才是大头。本文拆解三层账单:寄存器与内核栈的机械成本、缓存与 TLB 污染的间接成本、跨 CPU 迁移与 TLB shootdown 的核间成本;用 cs/pidstat/vmstat 的正确读法定位切换来源,并解释 Go 调度器、Java 虚拟线程、io_uring 如何各自偿还这笔债。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 34·访客 34
一篇读懂一致性哈希:扩容时只搬 K/N 个 key 的艺术
缓存集群从 10 台扩到 11 台,取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步,把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体,以及工程落地清单。
一叶一世界 精选 · 原创 · 10-24 阅读 95·访客 88
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 229·访客 225
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 281·访客 279
欧洲 CPU 初创企业 SiPearl 将与神盾合作开发下代处理器 Rhea2
IT之家 10 月 25 日消息,欧洲 CPU 初创企业 SiPearl 本月 22 日宣布与中国台湾地区芯片 IP 与设计服务企业神盾 (Egis) 签署战略合作与投资协议。 SiPearl 的下代处理器 Rhea2 将基于其同神盾下属安…
行业动态 IT之家 · 10-25 阅读 20·访客 20
Riot Games 否认根据 CPU 封禁玩家]
一位玩家声称在购买了一块二手 CPU Ryzen 7 5800X3D 之后,因前拥有者有作弊行为这块 CPU 被列入了封禁黑名单,导致 Riot Games 旗下的所有游戏都无法启动。Riot Games 工作室负责反作弊的高管 Phill…
行业动态 Solidot · 10-5 阅读 24·访客 24
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU / GPU 占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、GPU…
行业动态 IT之家 · 10-4 阅读 33·访客 33
二手 CPU 导致玩家被 Riot 封禁]
一名玩家购买了一个二手 CPU Ryzen 7 5800X3D,结果发现无法启动 Riot 工作室旗下的多款游戏,每次启动游戏就被踢出,在联络了 Riot 的客服之后才知道该 CPU 被列入了封禁黑名单,因为其前任主人有作弊行为。Riot …
行业动态 Solidot · 10-1 阅读 30·访客 30
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目 精选 · 用户投稿 · 10-20 💬 2 阅读 159·访客 105
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目 精选 · 原创 · 10-8 阅读 252·访客 231
操作系统内功 · 第 26 篇|软中断与 ksoftirqd:网络下半部打满一个 CPU 的真相与治理
「si 列占满一个核」是高流量机器最经典的现象。本文从硬中断为什么要拆两半讲起,拆解 softirq 的机制(who触发、在哪跑、budget 限制)、NET_RX 的 NAPI 轮询路径、RSS/RPS 多队列分流,以及 RSS 单队列瓶颈与 irqbalance 的取舍,最后给出 si 异常的完整诊断流程。
后端技术 精选 · 原创 · 昨天 阅读 10·访客 10
AMD“锐龙 9 5900X3D”处理器工程样品现身,配备 32MB + 96MB L3 缓存
IT之家 10 月 2 日消息,Chiphell 论坛用户 @灵乌路空 9 月 28 日分享了一款 AMD Socket AM4 平台处理器工程样品的信息。 该处理器代号 "100-000000652",属于 "Zen 3" 微架构的 "V…
行业动态 IT之家 · 10-2 阅读 32·访客 32
操作系统内功 · 第 27 篇|sk_buff:一个包在内核网络栈里的旅行成本
sk_buff 是内核网络栈的通用货币:一个结构体串起从驱动到协议栈到 socket 的全部路径。本文拆解它的线性数据区与缓冲区头尾指针设计、clone 与 copy 的区别、各层协议头如何被依次剥掉,并算清一次收发的真实成本账(内存分配、拷贝次数、缓存行),解释 GRO/TSO 为什么靠「攒大包」来摊薄这份成本。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
操作系统内功 · 第 15 篇|系统调用:从 int 0x80 到 vDSO,一次 syscall 到底贵在哪
系统调用是用户态进入内核态的唯一正门。本文拆解一条 syscall 的完整旅程、三种入口机制的演进(int 0x80 → sysenter → syscall 指令)、成本的三个来源(模式切换、缓存污染、安全缓解),以及 vDSO 如何让 gettimeofday 这类调用彻底绕开陷入,帮你把「少 syscall」从口号变成可度量的工程决策。
后端技术 精选 · 原创 · 昨天 阅读 6·访客 6
操作系统内功 · 第 24 篇|VFS 与一切皆文件:统一抽象层的代价与红利
socket、管道、设备、普通文件能用同一套 read/write 接口操作,靠的是 VFS 虚拟文件系统层。本文拆解 VFS 的四个核心对象(superblock/inode/dentry/file)、dentry 缓存与 path lookup 的成本、页缓存与 inode 的绑定关系,以及 procfs/sysfs/devtmpfs 三个「伪装成文件」的内核接口——读完能看懂 /proc 里那些指标的真正来源。
后端技术 精选 · 原创 · 昨天 阅读 7·访客 7
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目 精选 · 用户投稿 · 10-22 阅读 83·访客 82
Java 25 LTS 与虚拟线程这三年:从 pinning 之痛到放心用
Java 25 是继 21 之后的又一个 LTS:紧凑对象头转正、简单源文件定稿、Scoped Values 定稿、AOT 缓存一条命令可用。本文以官方 JEP 为准过一遍关键特性,并复盘虚拟线程落地三年的生产经验——pinning 的来龙去脉、适用边界与响应式编程的取舍。
后端技术 精选 · 原创 · 10-10 阅读 551·访客 542
一篇读懂布隆过滤器:用 1% 的误判换 90% 的内存
「这个元素我见过吗?」——这个问题哈希表要用全部 key 的内存来回答,布隆过滤器只需要每元素不到 10 个 bit:它可能把没见过的说成见过(1% 概率),但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除,以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。
一叶一世界 精选 · 原创 · 10-8 阅读 144·访客 142
Anthropic 弃用 Git,自研版本控制系统 Scion 服务端管理源码
因代码合并量从日均 2500 次增至超 3 万次,Anthropic 弃用 Git 改用自研的 Scion 版本控制系统,将提交、合并、变基等操作移至服务器端执行,宣称 CPU 与内存消耗仅为 Git 的两百分之一,并需配套定制代码审查、搜索与 CI 工具。
大模型 IT之家 · 10-15 阅读 43·访客 43
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 301·访客 295
操作系统内功 · 第 14 篇|一次网络收包的内核之旅:从网卡 DMA 到 epoll 返回
P99 飙升、CPU 总量不高、却有一个核的软中断逼近 100%——问题几乎总出在收包路径。本文沿「网卡 DMA → 硬中断 → NAPI 轮询 → 软中断预算 → GRO → 协议栈 → socket 队列 → epoll 唤醒」的完整数据通路走一遍,讲清每一站的成本、丢包计数器与调优参数,最后给出可照抄的排查清单与分层定位表。
后端技术 精选 · 原创 · 2天前 阅读 22·访客 22
操作系统内功 · 第 12 篇|cgroup:容器资源隔离的真正执行者
容器只靠 namespace 隔离视图,资源限制与计量的真正执行者是 cgroup。本文拆解 v1 与 v2 的层级与委托差异,cpu、memory、io、pids 四大控制器的超限行为,Kubernetes 的 QoS 分级与 OOM 选择逻辑,并复盘 CPU limit 节流毛刺等经典误配的排查方法。
后端技术 精选 · 原创 · 6天前 阅读 58·访客 56
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 758·访客 746
高通第六代骁龙 8 超级至尊版芯片一图看懂:2nm 工艺、CPU 行业首超 5GHz
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通公司宣布推出第六代骁龙 8 超级至尊版移动平台和第六代骁龙 8 至尊版移动平台,官方表示这是“全球最…
行业动态 IT之家 · 9-23 阅读 75·访客 75
OpenAI's isolated AI agents found ways to talk to each other through CPU cache
Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Key Points After a security incident in September, OpenAI now train…
智能体 The Decoder · 10-24 阅读 50·访客 50
AMD 发布智能体 AI 计算机架 Helion,纯 CPU 版本可扩展至 32,768 核心
IT之家 10 月 12 日消息,AMD 当地时间今日宣布推出**面向代理式人工智能计算负载**的 Helion 机架解决方案。 这一机架基于 OCP 设计规范和 AMD Helios 机架式解决方案的开放平台理念,**合作伙伴和客户可根据…
智能体 IT之家 · 10-12 阅读 67·访客 65
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 71·访客 71
Supersonic Labs Releases Julia 1: A 144.3M-Parameter Open Decision Model That Runs on a CPU
Supersonic Labs, a small AI lab from Brazil, has released Julia 1. It is a compact decision model, not a chatbot. You pa…
智能体 MarkTechPost · 9-27 阅读 120·访客 117
龙芯 CPU 的原子加指令偶尔会丢失]
今年 2 月 Debian 13 的龙芯架构移植版 loong13 的维护者在编译打包过程中发现,normaliz 的自带测试会死循环导致打包超时。第一次排查发现原子加指令会在特定情况下丢失更新,但原因未知。今年 8 月,开发者在 AI 的…
行业动态 Solidot · 9-27 阅读 43·访客 43
Anthropic 与 Akamai 达成 7 年 116 亿美元协议,扩充 CPU 算力
IT之家 9 月 26 日消息,云计算、网络安全、内容交付企业 Akamai 当地时间 24 日宣布大幅扩展与 Anthropic 的合作关系,两家公司签署了一份为期 7 年、价值 116 亿美元(IT之家注:现汇率约合 779.2 亿元人…
行业动态 IT之家 · 9-26 阅读 38·访客 38
Fastino Releases GLiNER2.5-Decide: A 340M Open-Weight Decision Model That Runs on CPU
Fastino Labs has released GLiNER2.5-Decide, a 340M-parameter open-weight decision model. It takes text and a schema of t…
行业动态 MarkTechPost · 9-25 阅读 62·访客 61
全球最快移动 CPU:高通发布第六代骁龙 8 超级至尊版芯片,CPU 行业首超 5GHz、GPU 性能提升 44%
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通公司宣布推出第六代骁龙 8 超级至尊版移动平台和第六代骁龙 8 至尊版移动平台,**官方表示这是“全…
智能体 IT之家 · 9-23 阅读 82·访客 81
全球最快移动 CPU:高通官宣小米、vivo、红魔、REDMI 等率先适配第六代骁龙 8 超级至尊版
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,**高通宣布小米、vivo、红魔、REDMI、OPPO 等(按官方新闻稿排序)手机品牌将率先适配第六代骁…
行业动态 IT之家 · 9-23 阅读 34·访客 34
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware
AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…
大模型 HuggingFace Daily Papers · 8-12 阅读 39·访客 37
一篇读懂 Token 计费:上下文、输入输出与一份成本优化清单
「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径:输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 昨天 阅读 4·访客 4
操作系统内功 · 第 13 篇|io_uring:Linux 异步 IO 的二十年补完计划
libaio 把缓冲 IO 锁进 O_DIRECT 监狱,二十年间 Linux 从未有过真正的异步 IO。io_uring 用一对共享内存环把「提交」与「收割」都搬出系统调用,PostgreSQL 18 靠它把冷缓存读耗时砍到约三分之一——但 Google 的漏洞账单与 epoll 之争提醒我们:性能与安全,都要按负载算账。
后端技术 精选 · 原创 · 4天前 阅读 42·访客 42
一篇读懂一致性哈希:扩容为什么不用搬光数据
从取模分片的痛点讲起:普通哈希为什么一扩容就让几乎全部数据搬家;哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜;再用可运行的对照代码,对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。
一叶一世界 精选 · 原创 · 10-10 阅读 777·访客 775
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 294·访客 270