AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
GPUDirect
共命中 3 条(服务端检索)
一篇读懂 RDMA 与
GPUDirect
:AI 集群通信为什么值钱
千卡训练的每一秒,GPU 之间都在交换海量数据——传统 TCP 网络撑不住,RDMA 与
GPUDirect
让数据「绕过 CPU 直接进出显存」。本篇拆解 AI 集群通信的分层(NVLink→RDMA→TCP)、
GPUDirect
RDMA 的零拷贝机制、以及网络性能对训练吞吐的决定性影响。
大模型
精选
· 原创 · 昨天
阅读 1
·
访客 1
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型
精选
· 原创 · 昨天
阅读 2
·
访客 2
一篇读懂 RDMA:为什么 AI 集群的网络要「绕过」操作系统
GPU 很贵,但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车,把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线,以及为什么它成了 AI 集群的标配。
后端技术
精选
· 原创 · 10-25
阅读 71
·
访客 68