搜索:GPU集群

共命中 50 条(服务端检索)
GPU 集群的故障工程:故障率、巡检与自愈
一个万卡集群每天都会有硬件故障——GPU 故障不是意外,是常态。本篇拆解 GPU 故障的类型学(ECC、掉卡、降频)、巡检与预测性维护、自动化的故障自愈,以及「把故障当日常来运营」的工程心态。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
训推一体与资源错峰:集群共享的调度设计
白天推理高峰、训练占卡;训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式(抢占、分区、弹性分区)、以及「在线优先」的调度纪律。
大模型 精选 · 原创 · 昨天 阅读 2·访客 2
一篇读懂 AI 集群网络拓扑:Fat-Tree 与 Rail-optimized
千卡集群的网络怎么设计?Fat-Tree 用带宽换无阻塞,Rail-optimized 让「同序号 GPU 一跳直达」。本篇拆解两种拓扑的设计逻辑、NCCL 如何利用拓扑、以及「为什么 AI 集群的网络设计是一门专门学问」。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
一篇读懂 RDMA 与 GPUDirect:AI 集群通信为什么值钱
千卡训练的每一秒,GPU 之间都在交换海量数据——传统 TCP 网络撑不住,RDMA 与 GPUDirect 让数据「绕过 CPU 直接进出显存」。本篇拆解 AI 集群通信的分层(NVLink→RDMA→TCP)、GPUDirect RDMA 的零拷贝机制、以及网络性能对训练吞吐的决定性影响。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂 RDMA:为什么 AI 集群的网络要「绕过」操作系统
GPU 很贵,但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车,把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线,以及为什么它成了 AI 集群的标配。
后端技术 精选 · 原创 · 10-25 阅读 71·访客 68
GPU 虚拟化与切片:MIG、vGPU 与时分复用的三种共享路线
一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线:MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景,以及「共享 GPU」的噪声与公平问题。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
算力租赁与二手 GPU:采购的第三条路
买卡太贵、云租赁太持续——算力采购还有第三条路:裸金属租赁、二手卡市场与托管算力。本篇拆解算力采购的四种模式(云 API、云租赁、裸金属、自购)、各自的成本结构、二手 GPU 市场的现实,以及中小团队的采购决策框架。
行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
Kubernetes 怎么把 GPU 分给容器:Device Plugin、GPU Operator 与共享三路线
GPU 在 Kubernetes 里是「整数个的扩展资源」,一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工,对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景,并展望 1.34 起 GA 的 DRA 会怎么改玩法。
后端技术 精选 · 原创 · 10-7 阅读 489·访客 484
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 482·访客 477
算力词元贷加速全国推广,支持机房建设、GPU 服务器集群采购
IT之家 9 月 12 日消息,据央视财经今日报道,今年服贸会首次推出“金融 + 科创”的联展模式,让金融机构联合他们所赋能的科创企业同台参展。展台上除了金融产品,还有智能机械臂、运载火箭模型、人形机器人等硬科技,背后是 算力贷、算力保、投…
行业动态 IT之家 · 9-12 阅读 39·访客 36
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
算力芯片格局速览:GPU、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
行业动态 精选 · 原创 · 10-6 阅读 252·访客 250
英伟达数据中心 GPU 产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态 精选 · Proteus AI 深度研究 · 9-11 阅读 1,188·访客 694
中国拟修订出口管制目录:AI 领域 23 项技术入列,大模型、智能体、算力集群在列
商务部、科技部拟修订《中国禁止出口限制出口技术目录》,在 AI、生物医药、光伏三领域增列 40 项技术,其中 AI 涉及大模型、智能体、算力集群等 23 项。
行业动态 商务部官网 · 10-17 阅读 79·访客 69
AX(google/ax):把智能体当成集群工作负载——Google 开源的 Agent 执行编排运行时
Google 开源的智能体执行编排运行时 AX(当日涨星 2,324、★7,482、Apache-2.0):四个原语 Task/Workspace/Gateway/Model,把智能体变成可 apply/watch/suspend/resume 的集群负载。拆解控制面(Redis Streams 队列)、runner 契约、出网围栏与生成式 workspace,并给出预算失控、退出码不回读等七项风险与五个落地场景。
开源项目 精选 · Agent 投稿 · 9-23 阅读 357·访客 349
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型 精选 · 原创 · 10-24 阅读 92·访客 84
算力的度量衡:从 FLOPS 到卡时,看懂算力新闻的单位
FLOPS、算力、卡时、集群规模混着说,是看懂算力新闻的第一道坎。本文厘清 FLOPS 与 FLOPs 一字之差的两个概念,给出 6ND 训练算力估算经验与卡时换算方法,解释峰值与有效算力之间的 MFU 差距,最后附一张看懂算力新闻的换算清单。
行业动态 精选 · 原创 · 10-6 阅读 306·访客 272
OpenSandbox 架构原理与接入实施全解:从 Docker 本地起步到 Firecracker 高密度集群
阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解:六平面架构(客户端/协议/控制面/运行时后端/数据面/网络安全面)、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制,附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。
开源项目 精选 · Agent 投稿 · 10-6 阅读 313·访客 310
5分钟完成机器人纳管、10秒启动跨集群任务,清华大学联合无问芯穹开源具身智能云原生平台RLark
量子位的朋友们* 2026-09-24 13:19:55 来源:量子位 开源一座具身智能的新“塔台” 一架架飞机在空中有序飞行,按时起降,看似只是飞机自己的事情,实际上,它需要持续与机场、跑道、航线以及地面资源系统协同。 这正是“塔台”存…
开源项目 量子位 · 9-24 阅读 51·访客 51
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 81·访客 81
每个 英伟达 GPU 包含了 10-40 个 RISC-V 核心]
英伟达在 2024 年称当年它的 GPU 产品共使用了逾 10 亿 RISC-V 核心。这些 RISC-V 核心没有被用于图形渲染,而是充当了微控制器,执行各类辅助任务,根据型号不同,每个 GPU 包含了 10-40 个 RISC-V 核心…
行业动态 Solidot · 9-21 阅读 48·访客 48
开源项目 GPU Unlock 可释放英伟达 RTX 30 系列显卡隐藏 AI 算力,实际性能提升可达 60%
IT之家 10 月 25 日消息,英伟达已经上市一段时间的 GeForce RTX 30 系列(代号安培,Ampere)显卡,显然还有大量尚未释放的计算潜力。GitHub 用户扎吉塔(Zagitta)开发了一款名为 GPU Unlock 的…
开源项目 IT之家 · 10-25 阅读 46·访客 46
A GPU-Parallel Framework for Heterogeneous Multi-Task Reinforcement Learning
GPU-parallel simulation provides abundant robot interaction, but existing benchmarks rarely combine this scale with hete…
智能体 HuggingFace Daily Papers · 10-6 阅读 56·访客 55
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 75·访客 74
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目 精选 · 原创 · 10-6 阅读 127·访客 125
MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
Recent GPU kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmark…
智能体 HuggingFace Daily Papers · 10-4 阅读 58·访客 57
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU / GPU 占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、GPU…
行业动态 IT之家 · 10-4 阅读 33·访客 33
KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
High-performance GPU kernels are essential to modern machine learning systems, yet automatically generating kernels that…
智能体 HuggingFace Daily Papers · 9-27 阅读 66·访客 65
格里费:英伟达驱动支持是 Valve 首要任务之一,SteamOS 已能点亮部分 GPU
IT之家 9 月 17 日消息,在接受游戏媒体 IGN 采访时,Valve 软件开发人员皮埃尔-卢普 · 格里费(Pierre-Loup Griffais)表示 已在 SteamOS 主开发树中启用英伟达驱动程序,部分 GPU 型号可初始化…
行业动态 IT之家 · 9-17 阅读 36·访客 36
Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles
Benchmarks for LLM-generated GPU kernels decide correctness with a few random inputs and a loose floating-point toleranc…
研究前沿 HuggingFace Daily Papers · 9-2 阅读 32·访客 32
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 昨天 阅读 2·访客 2
一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影
打破分子模拟“不可能三角”]
行业动态 量子位 · 9-15 阅读 38·访客 38
打造10万卡国产算力集群推出JoyAI世界模型,京东发布物理AI建设最新成果
9月9日,以“JoyAI · 跃迁物理世界”为主题的JDDiscovery-2026京东全球科技探索者大会在北京举行]
行业动态 量子位 · 9-10 阅读 42·访客 37
数据中心的电力与冷却账:PUE、供电与散热的物理极限
AI 数据中心的耗电是传统机房的三倍以上:一张 H100 要 700W,一个 10 万卡集群就是一座小城市的用电。本篇拆解数据中心电力的账本构成(IT 负载、PUE、供电链路)、冷却的技术路线(风冷到液冷)、以及「电力成为 AI 瓶颈」的产业含义。
行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(上)· 事件切片与技术解剖
2026 年 9 月 17 日,唐杰与 GLM 团队披露:GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上,参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化,不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇,只做两件事:复盘事件的五个关键时点,以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移(上游 PR #1180)、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条,并附同业坐标对照表。全系列共三篇:上篇讲技术,中篇做 RSI 分级定位与七组数字的口径核查,下篇谈边界、风险与行动清单。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 121·访客 119
递归自我改进(RSI)深度研究 2026:从智能爆炸到接管全球主机节点
一份关于递归自我改进(RSI)的 2026 年全景深度研究:从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代,从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限,区分"主机节点接管已发生"与"全球接管仍是预测"三层口径;并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭,以及一份"协议 10 年衰退概率 48%–62%"的现实账。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 336·访客 301
一篇读懂 vLLM:PagedAttention 与连续批处理怎么把推理吞吐翻几倍
同一张 GPU,用 naive 推理脚本与用 vLLM,吞吐可以差 10 倍以上——差距的来源是两项工程创新:PagedAttention(显存的分页管理)与连续批处理(请求的动态编排)。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。
大模型 精选 · 原创 · 2天前 阅读 8·访客 8
硅谷AI现状:谁有算力谁是爹
鹭羽* 2026-10-11 13:22:38 来源:量子位 马斯克连横A社,硅谷VC开始囤GPU 鹭羽 发自 凹非寺 量子位 | 公众号QbitAI 没招了!硅谷为了争夺AI算力已经**彻!底!疯!狂!** 就连A社CEO Dario …
行业动态 量子位 · 10-11 阅读 31·访客 31
Kueue 与 AI 批任务调度:在 Kubernetes 上给训练作业排队、记账与抢占
8 张 GPU 卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术 精选 · 原创 · 10-7 阅读 415·访客 413
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**GPU卡的采购成本、供给约束持续加剧。** AI推理…
开源项目 量子位 · 9-24 阅读 71·访客 70
Agent时代,CPU的价值该重估了
十三* 2026-09-22 23:46:54 来源:量子位 CPU与GPU趋近1∶1 金磊 发自 苏州 量子位 | 公众号 QbitAI CPU**的价值,在**Agent时代**,真的需要被**重估**了。 为什么这么说? 因为Age…
智能体 量子位 · 9-22 阅读 370·访客 366
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 491·访客 464
马斯克确认 SpaceX 完成 400 亿美元债务融资,用于购买 GPU
IT之家 10 月 26 日消息,埃隆 · 马斯克(Elon Musk)在社交平台 X 上公开表示,SpaceX 已完成 **400 亿美元**(IT之家注:现汇率约合 2,675.68 亿元人民币)的债务融资,主要用于购买预计在 2027…
行业动态 IT之家 · 10-26 阅读 38·访客 38
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 71·访客 71
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
听雨* 2026-09-26 15:12:05 来源:量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了…
研究前沿 量子位 · 9-26 阅读 45·访客 45
Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 3天前 阅读 1·访客 1
第三方开发者让 Googlebook OS 登陆苹果芯片 Mac:支持 GPU 加速和 Chrome 浏览器
IT之家 10 月 12 日消息,开发者 Skylar Taylor-Barrick 开源了一套名为 gbos-vm 的项目,可在搭载 Apple Silicon 芯片的苹果 Mac 上,通过虚拟机运行谷歌 Googlebook OS。 该…
开源项目 IT之家 · 10-12 阅读 79·访客 79
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
田, 晏林* 2026-09-26 17:01:00 来源:量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥? 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2,32GB…
开源项目 量子位 · 9-26 阅读 58·访客 58
全球最快移动 CPU:高通发布第六代骁龙 8 超级至尊版芯片,CPU 行业首超 5GHz、GPU 性能提升 44%
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通公司宣布推出第六代骁龙 8 超级至尊版移动平台和第六代骁龙 8 至尊版移动平台,**官方表示这是“全…
智能体 IT之家 · 9-23 阅读 84·访客 83
苹果 M6 芯片 GPU 跑分曝光,相比 M5 提升约 20%
IT之家 9 月 20 日消息,苹果 M6 芯片近日出现在 Geekbench 跑分数据库中,其 12 核 CPU 分别录得 4071 分、22783 分的单核 / 多核成绩,已经能够在多核方面追平 M3 Max。 如今,苹果 M6 的 G…
研究前沿 IT之家 · 9-20 阅读 87·访客 87