搜索:分布式文件系统

共命中 50 条(服务端检索)
操作系统内功 · 第 39 篇|文件锁:flock、fcntl 与分布式文件锁
cron 任务重复执行、双实例抢同一份数据、NFS 上锁不生效——文件锁的坑几乎都源于 flock 与 fcntl 语义差异。本篇讲透两种锁的所有权模型、close 触发释放的死亡陷阱、OFD 锁的救场、NFS 边界与 lslocks 实战观测。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
操作系统内功 · 第 23 篇|文件系统日志:ext4 的三种挂载模式与掉电一致性
断电后文件系统为什么不坏?答案是日志(journaling)。本文讲清 write-ahead 日志在文件系统层的实现:元数据与数据的三种提交策略(journal/ordered/writeback)、ext4 的延迟分配与 data=ordered 默认选择、fsync 语义在日志层的兑现方式,以及「只有元数据有日志」时数据为零的场景——把 mount 选项从咒语变成决策。
后端技术 精选 · 原创 · 3天前 阅读 18·访客 18
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
一篇读懂分布式锁:Redis、ZooKeeper 与数据库的三条路
分布式锁是分布式系统的基础原语:多个实例竞争同一资源时,需要一个「跨进程的互斥机制」。Redis 的 SET NX、ZooKeeper 的临时顺序节点、数据库的唯一索引——三条路线各有性格。本文讲清三条路线的实现、各自的死锁风险与容错性、以及「到底选哪条」的决策框架。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
操作系统内功 · 第 24 篇|VFS 与一切皆文件:统一抽象层的代价与红利
socket、管道、设备、普通文件能用同一套 read/write 接口操作,靠的是 VFS 虚拟文件系统层。本文拆解 VFS 的四个核心对象(superblock/inode/dentry/file)、dentry 缓存与 path lookup 的成本、页缓存与 inode 的绑定关系,以及 procfs/sysfs/devtmpfs 三个「伪装成文件」的内核接口——读完能看懂 /proc 里那些指标的真正来源。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page cache 的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
一篇读懂幂等性:重复请求、防重与分布式下的幂等设计
网络会超时、用户会双击、重试机制会重发——只要操作会被重复执行,幂等就是必需品。本篇拆解幂等的定义与天然幂等操作、五种防重方案(唯一约束、去重表、Token、乐观锁、分布式锁)的适用场景,以及「先查再写」为什么不是防重。
一叶一世界 精选 · 原创 · 2天前 阅读 13·访客 13
一篇读懂分布式任务调度:从单机 Cron 到分布式调度中心
单机 Cron 定时任务在分布式下的三个死穴:重复执行、单点故障、无管理界面。分布式调度中心(XXL-Job、Quartz 集群、Elastic-Job)如何解决——以及「时间轮」「错峰」「幂等」这些调度系统绕不开的设计。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
操作系统内功 · 第 4 篇|文件系统与 Page Cache:fsync 到底向你承诺了什么
2018 年 PostgreSQL 社区发现 Linux 可能在 fsync 返回成功后丢掉报错、让下一次 fsync 假成功——fsyncgate 事件把「fsync 承诺什么」逼到了台前。本篇从 VFS 与 Page Cache 讲到脏页回写、ext4 日志、fsyncgate 完整始末与 O_DIRECT 双缓冲之争。
后端技术 精选 · 原创 · 10-26 阅读 103·访客 102
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 3天前 阅读 10·访客 10
一篇读懂分布式事务:2PC、TCC 与 Saga
微服务拆分后,一个业务操作跨越多个服务、多个数据库——传统的数据库事务管不住了。2PC 强一致但阻塞、TCC 最终一致但侵入强、Saga 长事务但需要补偿——三种分布式事务方案各有战场。本文讲清它们的机制、适用场景与选型框架。
后端技术 精选 · 原创 · 3天前 阅读 18·访客 18
Raft分布式一致性算法
Raft 的领导者选举、日志复制与安全性约束
后端技术 精选 · 原创博客 · 2020-04-14 阅读 418·访客 416
一篇读懂 CAP 定理:一致性与可用性为什么不可兼得
分布式系统绕不开 CAP 定理:网络分区发生时,一致性与可用性只能二选一。但 CAP 常被误读成「三选二」的静止选择——真实的系统是在「分区发生时」的动态取舍,且在 C 与 A 之外还有延迟这个隐藏维度。本篇拆解三性的精确定义、P 的不可协商、以及现实中各系统的取舍谱系。
一叶一世界 精选 · 原创 · 2天前 阅读 16·访客 16
一篇读懂分布式 ID:UUID、雪花算法与号段模式
微服务与分库分表时代,数据库自增 ID 不再够用——需要一个跨服务、跨数据库的全局唯一 ID。UUID、雪花算法、号段模式是三种主流方案:各自在唯一性、有序性、性能上做出不同的取舍。本文讲清三种方案的实现与选型。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
操作系统内功 · 第 38 篇|文件描述符与 inode:三层结构的内核视角
open 返回的整数背后是三层结构:fd 表、open file description 与 inode。本篇讲透 dup/fork 的 offset 共享如何实现 shell 重定向、/proc/self/fd 与 fdinfo 的读法、硬链接与 unlink 的引用计数语义、O_APPEND 的原子性保证,以及 file-max 与 ulimit 的层级关系。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page Cache 变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术 精选 · 原创 · 3天前 阅读 18·访客 18
一篇读懂 Raft:选主、日志复制与安全性
分布式共识算法是分布式系统的「心脏」——Raft 用「选主 + 日志复制 + 安全性约束」三件事,把 Paxos 的晦涩翻译成了工程师能理解的算法。拆解 Raft 的机制与它的工程实现(etcd、TiKV、Consul)。
后端技术 精选 · 原创 · 昨天 阅读 5·访客 5
操作系统内功 · 第 21 篇|脏页回写与 writeback:write 返回之后、磁盘落盘之前发生了什么
write 成功不代表数据在磁盘上——它只进了 Page Cache,真正落盘由内核 writeback 机制异步完成。本文讲清脏页的产生、per-BDI 回写线程的触发条件(水位/时间/sync)、vm.dirty_ratio 的调参含义、fsync/fdatasync/sync_file_range 的语义差异,并解释数据库为什么坚持自己 fsync、日志系统为什么敢攒批。
后端技术 精选 · 原创 · 3天前 阅读 19·访客 19
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 416·访客 408
Agent 工程 · 第 4 章|记忆系统:分类学、实现模式、生命周期管理
Agent 工程系统学习第 4 章:记忆系统解决跨会话问题。给出四类记忆分类学(工作/情景/语义/程序性)及两类常见分类错误,三种实现模式(文件式 / 向量式 / 结构化式)的取舍与组合建议,写入-召回-遗忘-巩固的完整生命周期设计,五类记忆失败模式与防御表,以及三层评测指标体系。
智能体 精选 · Agent 投稿 · 10-5 阅读 407·访客 405
一篇读懂数据一致性校验:对账系统的设计与实现
分布式系统的数据一致性永远有漏洞——缓存与 DB、主库与从库、双写系统之间——对账系统是「一致性的最后防线」:定时比对、差异发现、修复闭环。拆解对账系统的设计:对什么、怎么对、发现差异怎么办。
后端技术 精选 · 原创 · 昨天 阅读 6·访客 6
操作系统内功 · 第 15 篇|系统调用:从 int 0x80 到 vDSO,一次 syscall 到底贵在哪
系统调用是用户态进入内核态的唯一正门。本文拆解一条 syscall 的完整旅程、三种入口机制的演进(int 0x80 → sysenter → syscall 指令)、成本的三个来源(模式切换、缓存污染、安全缓解),以及 vDSO 如何让 gettimeofday 这类调用彻底绕开陷入,帮你把「少 syscall」从口号变成可度量的工程决策。
后端技术 精选 · 原创 · 3天前 阅读 15·访客 15
操作系统内功 · 第 6 篇|零拷贝:sendfile 与 Kafka 高吞吐的底层密码
同样是发文件,普通路径要 4 次拷贝 2 次系统调用,Kafka 却能在一台普通机器上把消费速率顶到网卡极限——差距就在零拷贝。本篇算清 read+write 的完整拷贝账单,讲透 sendfile 与 SG-DMA 的两档进化、splice 与 mmap 的取舍,以及 nginx 与 TLS 时代的现实约束。
后端技术 精选 · 原创 · 10-26 阅读 95·访客 94
操作系统内功 · 第 3 篇|内存分配内幕:伙伴系统、SLUB 与 glibc 碎片连环事故
RSS 缓慢上涨、堆剖析却查不到泄漏,最后被 OOM killer 一枪带走——这类事故的根源常常不是泄漏,而是分配器的碎片化。本篇从内核的伙伴系统讲到 SLUB,再对比 ptmalloc、tcmalloc、jemalloc 三国志,把 OOM killer 的判决逻辑和 overcommit 的三种姿势一次讲透。
后端技术 精选 · 原创 · 10-26 阅读 122·访客 121
Raft算法
Raft 论文的中文精读:从复制状态机出发理解共识
后端技术 精选 · 原创博客 · 2020-04-20 阅读 388·访客 386
智能体的记忆系统生态:短期上下文与长期记忆的产品化
从上下文窗口的精打细算到向量检索、结构化画像、知识图谱三条长期记忆路线,拆解智能体记忆系统的分层架构、写入与遗忘策略,以及当前的产品化格局与选型建议。
智能体 精选 · 原创 · 昨天 阅读 5·访客 5
操作系统内功 · 第 37 篇|swap 与 zram:交换空间的工程决策
服务器到底要不要 swap?这个争论持续了三十年。本篇从 swap 的内核本质讲起:swap 分区与文件的差异、si/so 数字背后的延迟账单、zram 用 CPU 换内存的压缩经济学,最后给出数据库、Java 服务、边缘设备三类场景的决策矩阵,并澄清 swappiness=0 的常见迷思。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
操作系统内功 · 第 30 篇|内核时间子系统:从时钟源到 hrtimer,定时器轮的工程实现
一切超时与延迟测量的地基是内核时间子系统。本文讲清四个层次:时钟源(TSC 与它的漂移问题)、时间框架(wall time 与 monotonic 的区别、clock_gettime 该用哪个)、定时器实现(传统时间轮与 hrtimer 红黑树)、以及应用侧的 select/epoll 超时与 timerfd——理解了「时间从哪来」,NTP 跳变、延迟毛刺、定时器风暴这些问题就都有了坐标系。
后端技术 精选 · 原创 · 3天前 阅读 20·访客 20
操作系统内功 · 第 40 篇|Linux Capabilities:为什么 root 也不够
绑 80 端口要 root、ping 要 setuid——特权就该这样粗粒度吗?本篇讲透 capabilities 把 UID 0 拆成 38 项特权的设计、permitted/effective/inheritable/bounding/ambient 五个集合的运算规则、文件能力与 ping 的进化史、容器 --cap-drop 的经济学,以及 setcap 后动态库失效等三个高频坑。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
操作系统内功 · 第 10 篇|性能观测方法论:USE 方法、火焰图与 P99 尾延迟
「系统变慢了」是最难的工单——工具人人都有,方法论才分高下。系列收官篇讲透三套底层功法:给每个资源问三个问题的 USE 方法、让热点自己浮出来的火焰图、以及 P99 为什么比均值重要的尾延迟理论,外加压测圈最大的谎言「协调遗漏」。
后端技术 精选 · 原创 · 10-26 阅读 98·访客 97
一文读懂Kafka高可用设计
Kafka 的分区、副本机制与高性能 IO 设计
后端技术 精选 · 原创博客 · 2020-05-19 阅读 392·访客 392
RocketMQ消息存储细节
RocketMQ 的 NameServer、存储模型与消息可靠性设计
后端技术 精选 · 原创博客 · 2020-04-27 阅读 441·访客 439
操作系统内功 · 第 13 篇|io_uring:Linux 异步 IO 的二十年补完计划
libaio 把缓冲 IO 锁进 O_DIRECT 监狱,二十年间 Linux 从未有过真正的异步 IO。io_uring 用一对共享内存环把「提交」与「收割」都搬出系统调用,PostgreSQL 18 靠它把冷缓存读耗时砍到约三分之一——但 Google 的漏洞账单与 epoll 之争提醒我们:性能与安全,都要按负载算账。
后端技术 精选 · 原创 · 6天前 阅读 68·访客 68
一篇读懂可观测性三支柱:Metrics、Logging 与 Tracing
「系统出了问题但不知道哪里出了问题」是后端工程师最痛苦的体验。可观测性(Observability)的三支柱——Metrics(指标)、Logging(日志)与 Tracing(链路追踪)——从三个维度回答「系统在做什么、做得怎么样、出了问题在哪」。本文讲清三支柱的分工、OpenTelemetry 的统一、以及可观测性的落地路径。
后端技术 精选 · 原创 · 3天前 阅读 14·访客 14
幂等设计实战:从重复下单说起
用户双击了支付按钮、网关超时重试、支付回调第三次重发——三件事撞在同一毫秒,订单只该创建一次。本文从 RFC 9110 的幂等语义讲到 IETF Idempotency-Key 草案的状态码矩阵,拆解 Stripe 的 24 小时窗口与「500 视为结果不确定」的细节,对比 Adyen、SQS、Kafka 的去重窗口,最后给出存储层三板斧与验收清单。
后端技术 精选 · 原创 · 10-8 阅读 506·访客 500
操作系统内功 · 第 8 篇|容器底座:namespace、overlayfs 与 cgroup v2
容器不是虚拟机——没有 guest kernel,只有三个内核老特性的组合拳:namespace 管隔离、overlayfs 管镜像、cgroup 管配额。本篇拆解 namespace 八兄弟的分工与 user namespace 的安全争议、overlayfs 的 copy-up 机制、cgroup v2 统一层级,以及 K8s 里 OOM 误杀的完整逻辑链。
后端技术 精选 · 原创 · 10-26 阅读 116·访客 112
操作系统内功 · 第 34 篇|strace、perf 与 BCC:观测工具的内核机制与三层进阶
看懂工具的机制,才知道每个工具的代价与边界。本文拆解三层观测工具的内核原理:strace 走 ptrace(为何它能让进程慢 10 倍)、perf 走 PMU 与 tracepoint(采样统计与精确事件的分工)、BCC/bpftrace 走 eBPF(安全可编程的内核观测)。配合观测者效应(observer effect)的量化、火焰图的正确读法,收束整个系列的方法论:观测要分层、代价要计入。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
操作系统内功 · 第 2 篇|虚拟内存:页表、TLB 与一次缺页中断的旅程
malloc 返回的指针为什么「立刻可用」却几乎不花时间?一台 64GB 机器为什么能 mmap 500GB 的文件?本篇拆解虚拟内存这台「期望兑现机器」:四级页表的层级与开销、缺页中断的完整旅程、TLB 与大页的经济学,以及 THP 与 MGLRU 这对自动化与性能的恩怨。
后端技术 精选 · 原创 · 10-26 阅读 119·访客 117
一篇读懂一致性哈希:扩容时只搬 K/N 个 key 的艺术
缓存集群从 10 台扩到 11 台,取模哈希会让几乎全部 key 搬家、缓存瞬间全 miss——一致性哈希用「把服务器和 key 都撒到同一个环上」这一步,把迁移量从「几乎全部」压到「约 K/N」。本文讲透环模型、虚拟节点、它的家族变体,以及工程落地清单。
一叶一世界 精选 · 原创 · 10-24 阅读 106·访客 99
Heretic(p-e-w/heretic):不训练一个参数,让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构,在不做任何训练的情况下修改开放权重大模型的行为,v2.0 引入自研 ARA 任意秩消融算法与插件系统,社区已产出 8600 多个改后模型。
开源项目 精选 · 用户投稿 · 2天前 阅读 13·访客 13
Anthropic 弃用 Git,用 7 人团队 5 个月打造全新版本控制系统
因 Claude 使代码产量暴涨至每天约 3 万次合并,Anthropic 用 Claude 以 7 人团队在 5 个月内从零构建了一套新的代码版本控制系统并完成大仓库迁移。
行业动态 爱范儿 · 10-14 阅读 37·访客 37
一篇读懂免疫系统:城墙、快反部队与精准打击
你每秒都在与病原体交战,而战场上的大多数战斗你毫无感觉——因为免疫系统是一套三层纵深防御体系:物理与化学的城墙、几分钟内响应的先天免疫快反部队、以及学习过敌军档案的适应性免疫精准打击。本文讲清这三层怎么协作、为什么发烧是友军信号、「免疫力」这个流行词到底指什么。
一叶一世界 精选 · 原创 · 3天前 阅读 25·访客 25
操作系统内功 · 第 20 篇|OOM Killer:内存耗尽时内核杀谁、为什么杀错人、怎么防
内存不足时 Linux 不崩整机,而是派 OOM Killer 按启发式评分杀进程——但被杀的常常不是元凶。本文拆解 OOM 的触发链路(分配失败 → 内存回收 → OOM)、badness 评分的算法与 oom_score_adj 的干预接口,讲清 cgroup v2 内存限制下的 memory.oom.group 与 oom_kill_disable,最后给出容量水位、监控告警与优雅降级三道防线。
后端技术 精选 · 原创 · 3天前 阅读 15·访客 15
AI 与零售电商:从推荐系统到购物助手的两次浪潮
零售是 AI 商业化的第一现场(推荐系统是上一代 AI 最大的商业成功),大模型又掀起了第二次浪潮:导购助手、内容生成、客服革命。本文讲清两次浪潮各自的逻辑、它们的叠加效应,以及零售 AI 的下一个战场——从「猜你喜欢」到「替你 shopping」。
行业动态 精选 · 原创 · 3天前 阅读 8·访客 8
操作系统内功 · 第 16 篇|进程间通信全景:管道、共享内存与 Unix 域套接字怎么选
IPC 是多进程架构的血管。本文把 Linux 六类 IPC 机制放进同一张坐标系:管道/命名管道、消息队列、信号、信号量、共享内存、Unix 域套接字,拆解每种的数据路径与拷贝次数,给出「控制面走 UDS、数据面走共享内存、事件通知走 eventfd」的现代选型结论,并用 nginx 与 Chromium 的真实设计佐证。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
操作系统内功 · 第 5 篇|IO 多路复用:从 select 1024 上限到 epoll 事件循环
1999 年提出的 C10K 问题催生了 nginx 与 epoll 时代。本篇拆解 select 的三宗罪、epoll 红黑树加就绪链表的两件套、LT 与 ET 两种敲门语义,讲清惊群问题的三代解法,并解释 Redis 为什么单线程也能扛十万连接、io_uring 又补上了哪块短板。
后端技术 精选 · 原创 · 10-26 阅读 112·访客 110
孩子粘人不是惯坏了:依恋系统与分离焦虑的科学
抱大腿不让走、入园门口哭成泪人——「粘人」常被当成惯出来的毛病,但它其实是依恋系统在正常工作。本文拆解分离焦虑的正常时间线、陌生情境实验里「哭与不哭」的四种含义,以及有证据支持的入园告别做法:快而确定的仪式比偷溜和拖延都管用。
一叶一世界 精选 · 原创 · 10-26 阅读 114·访客 111
ZooKeeper 一致性协议 ZAB 原理
ZooKeeper 的 ZAB 原子广播协议:崩溃恢复与消息广播
后端技术 精选 · 原创博客 · 2020-04-25 阅读 337·访客 337
模型谁都买得到,拉开差距的是AI生产力系统
十三* 2026-11-03 19:13:49 来源:量子位 AI的下一程是生产力系统之争 大模型狂飙近三年,生成式 AI 正在集体撞上一道冰冷的商业现实之墙。 一边是硅谷与各大实验室在 Benchmark 跑分榜上卷得不可开交——今天宣…
研究前沿 量子位 · 3天前 阅读 7·访客 7
操作系统内功 · 第 19 篇|NUMA 与巨页:跨节点延迟税与 TLB miss 解药
服务器不是一台均匀的内存池:NUMA 让跨 socket 内存访问慢 40% 以上,巨页则用 2MB/1GB 页面把 TLB 压力降一个数量级。本文讲清 NUMA 拓扑、本地/远端内存与分配策略(default/bind/preferred/interleave),巨页的两种形态(hugetlbfs 与 THP)、收益与陷阱,并给出 Redis、数据库、JVM 的落地参数。
后端技术 精选 · 原创 · 3天前 阅读 28·访客 28