搜索:GPUDirect

共命中 3 条(服务端检索)
一篇读懂 RDMA 与 GPUDirect:AI 集群通信为什么值钱
千卡训练的每一秒,GPU 之间都在交换海量数据——传统 TCP 网络撑不住,RDMA 与 GPUDirect 让数据「绕过 CPU 直接进出显存」。本篇拆解 AI 集群通信的分层(NVLink→RDMA→TCP)、GPUDirect RDMA 的零拷贝机制、以及网络性能对训练吞吐的决定性影响。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 昨天 阅读 2·访客 2
一篇读懂 RDMA:为什么 AI 集群的网络要「绕过」操作系统
GPU 很贵,但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车,把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线,以及为什么它成了 AI 集群的标配。
后端技术 精选 · 原创 · 10-25 阅读 71·访客 68