搜索:GPU调度

共命中 50 条(服务端检索)
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 784·访客 778
训推一体与资源错峰:集群共享的调度设计
白天推理高峰、训练占卡;训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式(抢占、分区、弹性分区)、以及「在线优先」的调度纪律。
大模型 精选 · 原创 · 11-4 阅读 66·访客 66
Kueue 与 AI 批任务调度:在 Kubernetes 上给训练作业排队、记账与抢占
8 张 GPU 卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术 精选 · 原创 · 10-7 阅读 625·访客 623
推理服务的多模型混部:显存与算力的共享调度
一张 GPU 同时服务多个模型的现实诉求与技术路线:多实例共享、LoRA 热加载、权重热切换、MIG 硬切分与时分复用各自的隔离与代价,干扰毛刺的成因,以及什么场景值得混部、什么场景不该省这个钱。
大模型 精选 · 原创 · 11-11 阅读 51·访客 51
GPU 虚拟化与切片:MIG、vGPU 与时分复用的三种共享路线
一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线:MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景,以及「共享 GPU」的噪声与公平问题。
大模型 精选 · 原创 · 11-4 阅读 74·访客 74
操作系统内功 · 第 11 篇:Linux 调度类全景——从 RT 到 SCHED_OTHER 的完整策略
拆解 Linux 调度器的「类」架构:五个调度类的优先级链条、实时策略的边界、nice 权重的数学本质与 RT throttling 这道保险丝。
后端技术 精选 · 原创 · 11-5 阅读 80·访客 79
操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber
块层调度器决定请求以什么顺序、什么节奏下盘。本文定位调度器在 blk-mq 栈中的确切位置,拆解 mq-deadline 的读优先与过期时钟、BFQ 的按权重公平、kyber 的目标导向与 none 的直通惯例,给出换装命令、参数观测与两个真实工程现场,帮你按介质与负载选对策略。
后端技术 精选 · 用户投稿 · 昨天 阅读 3·访客 3
操作系统内功 · 第 96 篇|调度域与负载均衡:PELT 与 NUMA 拉扯
单核调度做得再好,多核机器还要回答「任务该放在哪个核」。这篇拆调度域层级 SMT/MC/NUMA、周期均衡与空闲均衡的触发路径、PELT 负载信号的衰减数学,以及自动 NUMA 平衡的页错误代价——并用两个真实场景说明为什么大内存服务常要关掉 NUMA 平衡、延迟服务要绑核。
后端技术 精选 · 用户投稿 · 昨天 阅读 5·访客 5
智能体生态观察 · 第 45 篇|并发调度的隐藏工程:队列、限流与背压设计
智能体把一次请求变成一段持续工作,流量画像从此改变:长耗时、放大系数与上游配额叠加。本篇拆解队列、限流、背压三件套的机制设计,讲透上游速率限制与重试风暴的治理,并观察批处理接口复兴与成本延迟的调度权衡。
智能体 精选 · 原创 · 2天前 阅读 10·访客 10
异构算力的统一调度:混合集群的现实
不同厂商与不同代际的算力卡并存是大多数团队的现实;本文分析统一调度的三道坎,梳理分池、标签化与抽象层三条路线的适用边界,并讨论训练与推理各自的异构适配策略。
大模型 精选 · 原创 · 11-11 阅读 59·访客 59
一篇读懂分布式任务调度:从单机 Cron 到分布式调度中心
单机 Cron 定时任务在分布式下的三个死穴:重复执行、单点故障、无管理界面。分布式调度中心(XXL-Job、Quartz 集群、Elastic-Job)如何解决——以及「时间轮」「错峰」「幂等」这些调度系统绕不开的设计。
后端技术 精选 · 原创 · 11-5 阅读 67·访客 66
一篇读懂 DNS 的工程学:解析、缓存与智能调度
DNS 是互联网的「电话簿」,也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现(GeoDNS)——以及 DNS 劫持与 DoH 的攻防。
后端技术 精选 · 原创 · 11-5 阅读 58·访客 58
操作系统内功 · 第 1 篇|进程与线程:fork 的 CoW 代价与 EEVDF 新调度器
进程与线程是后端工程师用得最多、想得最少的两个抽象。本篇从 2014 年 Redis 的 THP 延迟尖刺事故开题,讲透 fork 写时复制的真实账单、上下文切换从 1.2 微秒到 800% 开销的完整谱系,以及 2023 年随 Linux 6.6 登场、取代 CFS 的 EEVDF 新调度器。
后端技术 精选 · 原创 · 10-26 阅读 182·访客 179
一篇读懂 GPU 监控:DCGM、指标采集与告警
集群 GPU 的可观测性从 DCGM 开始:英伟达数据中心 GPU 管理框架的核心指标(利用率、显存、温度、功耗、ECC、XID 错误码),从 exporter 到 Prometheus 与告警的采集链路,以及一组可以直接抄走的告警规则。
后端技术 精选 · 原创 · 11-11 阅读 80·访客 79
小团队的自建 GPU 服务器:从选件到上架
在租卡与云之间,自建 GPU 服务器是小团队的第三条路;本文给出从选件、组装验机到上架接网的完整流程,算清噪音、电费与运维的隐性成本,并划出自建与托管的能力边界。
行业动态 精选 · 原创 · 11-11 阅读 58·访客 58
GPU 集群的容量规划:从卡时到业务增长
容量规划是把业务增长翻译成 GPU 卡时的算术:从 QPS 与 token 数换算卡数的完整链路,利用率目标的排队论悖论,峰值与均值的错峰策略,采购交付与租赁的组合,以及表格化的滚动规划方法。
大模型 精选 · 原创 · 11-11 阅读 55·访客 55
ZStack 开源 GPU 管理平台 GPUWorks:40MB 管上千台 GPU 服务器
ZStack 将 GPU 管理平台 GPUWorks 以 Apache 2.0 开源:40+MB 体积、60 秒部署,可管理上千台 GPU 服务器。
开源项目 Business Insider · 11-5 阅读 36·访客 36
AI 基础设施创业的新窗口:从 GPU 云到「数据的工业化」
模型层被巨头锁死、应用层卷成红海,但 AI 基础设施层(Infra)的创业窗口反而变宽了:GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。
行业动态 精选 · 原创 · 11-5 阅读 56·访客 56
算力租赁与二手 GPU:采购的第三条路
买卡太贵、云租赁太持续——算力采购还有第三条路:裸金属租赁、二手卡市场与托管算力。本篇拆解算力采购的四种模式(云 API、云租赁、裸金属、自购)、各自的成本结构、二手 GPU 市场的现实,以及中小团队的采购决策框架。
行业动态 精选 · 原创 · 11-4 阅读 66·访客 64
GPU 集群的故障工程:故障率、巡检与自愈
一个万卡集群每天都会有硬件故障——GPU 故障不是意外,是常态。本篇拆解 GPU 故障的类型学(ECC、掉卡、降频)、巡检与预测性维护、自动化的故障自愈,以及「把故障当日常来运营」的工程心态。
大模型 精选 · 原创 · 11-4 阅读 54·访客 54
Kubernetes 怎么把 GPU 分给容器:Device Plugin、GPU Operator 与共享三路线
GPU 在 Kubernetes 里是「整数个的扩展资源」,一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工,对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景,并展望 1.34 起 GA 的 DRA 会怎么改玩法。
后端技术 精选 · 原创 · 10-7 阅读 642·访客 635
英伟达数据中心 GPU 产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态 精选 · Proteus AI 深度研究 · 9-11 阅读 1,524·访客 953
GPU 的交付链:从下单到点亮
GPU 从下单到真正跑起训练要跨越晶圆产能、整机集成、机柜组装与软件点亮四道门槛;本文拆解交付链的每一环与各角色分工,讲清先通电后完善的行业现象与采购方的里程碑管理方法。
行业动态 精选 · 原创 · 11-11 阅读 53·访客 53
算力芯片格局速览:GPU、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
行业动态 精选 · 原创 · 10-6 阅读 610·访客 608
Together Compiler:用 AI 智能体自动优化开源模型的 GPU 推理代码
Together AI 发布 Together Compiler,用 AI 智能体团队自动重写 GPU 代码,开源模型 24 小时内优化、吞吐最高提升 3.7 倍。
开源项目 Together AI Blog · 11-5 阅读 42·访客 42
模型操作系统之争:谁来做模型之上的调度层
大模型之上正在长出一层「模型操作系统」:路由、上下文管理、工具调用与记忆的统一抽象,决定算力效率与应用形态。基础模型厂商向上、云平台向下、中间件创业公司卡位中间,开放与封闭两条路线拉锯,而模型迭代随时重洗牌面。本篇拆解这场调度层的卡位战。
行业动态 精选 · 原创 · 11-10 阅读 47·访客 47
AI 与能源电网:负荷预测、新能源调度与虚拟电厂
电网是最早用 AI 的行业之一:负荷预测从统计模型走到深度学习,风光并网把功率预测变成刚需,虚拟电厂让算法直接参与调度与交易;本篇与「AI 的能源账」分工——那篇讲 AI 耗电,这篇讲 AI 反哺电网。
行业动态 精选 · 原创 · 11-10 阅读 46·访客 46
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 11-3 阅读 44·访客 44
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型 精选 · 原创 · 10-24 阅读 174·访客 159
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 74·访客 72
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 51·访客 50
华为麒麟 9050 系列新马良 GPU、AI ISP 情报公开:实装二代硬件光追,首次实现 2 亿像素融合拍照
IT之家 11 月 14 日消息,华为官方今日继续揭秘首款「逻辑折叠」技术 τ 芯片 —— 麒麟 9050 系列更多配置信息,**目前最新公开了新一代马良 GPU 和麒麟 AI ISP 的情报**。 据介绍,麒麟 9050 系列搭载新一代马…
行业动态 IT之家 · 11-14 阅读 34·访客 34
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目 精选 · 原创 · 10-6 阅读 584·访客 582
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 120·访客 120
操作系统内功 · 第 113 篇|CPU 隔离:isolcpus、nohz_full 与 rcu_nocbs
抖动的根源是内核自己也在你的核上跑步:调度器抢占、时钟中断、RCU 回调与各种 kworker。CPU 隔离按三层递进:isolcpus 把核从调度器摘走,nohz_full 让时钟闭嘴,rcu_nocbs 把回调委托到别的核。本文拆解三层机制、残留干扰清单与 osnoise 验收方法,给出从 cmdline 到 cgroup partition 的完整落地命令。
后端技术 精选 · 用户投稿 · 昨天 阅读 5·访客 5
操作系统内功 · 第 95 篇|EEVDF 深水区:lag、eligibility 与虚拟截止时间
Linux 6.6 起 CFS 把调度台交给了 EEVDF:公平不再只看 vruntime 谁小,而是「欠得多才有资格跑、截止时间最早者先跑」。这篇拆 lag、eligibility、虚拟截止时间三要素,讲清唤醒放置、抢先判定与挑选路径的实现,以及升级 6.x 后延迟形态变化的排查思路。
后端技术 精选 · 用户投稿 · 昨天 阅读 5·访客 5
操作系统内功 · 第 31 篇|上下文切换的成本解剖:直接成本、间接成本与 TLB shootdown
「上下文切换 1 微秒」是流传最广的性能迷信——直接成本确实小,间接成本才是大头。本文拆解三层账单:寄存器与内核栈的机械成本、缓存与 TLB 污染的间接成本、跨 CPU 迁移与 TLB shootdown 的核间成本;用 cs/pidstat/vmstat 的正确读法定位切换来源,并解释 Go 调度器、Java 虚拟线程、io_uring 如何各自偿还这笔债。
后端技术 精选 · 原创 · 11-3 阅读 79·访客 79
开源项目 GPU Unlock 可释放英伟达 RTX 30 系列显卡隐藏 AI 算力,实际性能提升可达 60%
IT之家 10 月 25 日消息,英伟达已经上市一段时间的 GeForce RTX 30 系列(代号安培,Ampere)显卡,显然还有大量尚未释放的计算潜力。GitHub 用户扎吉塔(Zagitta)开发了一款名为 GPU Unlock 的…
开源项目 IT之家 · 10-25 阅读 62·访客 62
NVIDIA Announces Rubin HPC — A New GPU to Accelerate Agents for Science, Engineering and Analytics
Announced today at SC26, NVIDIA Rubin HPC is a new GPU in the NVIDIA Vera Rubin platform designed to accelerate simulati…
智能体 NVIDIA Blog · 4天前 阅读 21·访客 21
英伟达发布 Rubin HPC GPU:单卡超 5 万 CUDA 核心创纪录,预计 2028 年上市
IT之家 11 月 17 日消息,英伟达今日在 SC26 大会发布 Rubin HPC GPU,基于 Vera Rubin 平台打造,专为科学研究、工程设计、数据分析仿真计算等工作设计。 IT之家从英伟达新闻稿获悉,**Rubin HPC …
研究前沿 IT之家 · 4天前 阅读 21·访客 21
FAME-QP: A GPU-Accelerated Quadratic-Programming Solver for Real-Time Model Predictive Control
We present FAME-QP, a GPU-accelerated solver for dense quadratic programs arising in linear model predictive control. FA…
行业动态 HuggingFace Daily Papers · 11-10 阅读 9·访客 9
A GPU-Parallel Framework for Heterogeneous Multi-Task Reinforcement Learning
GPU-parallel simulation provides abundant robot interaction, but existing benchmarks rarely combine this scale with hete…
智能体 HuggingFace Daily Papers · 10-6 阅读 80·访客 79
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 102·访客 101
MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
Recent GPU kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmark…
智能体 HuggingFace Daily Papers · 10-4 阅读 77·访客 76
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU / GPU 占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、GPU…
行业动态 IT之家 · 10-4 阅读 43·访客 43
KernelZero: Co-Evolving Proposer and Coder for Continuously Improved GPU Kernel Generation
High-performance GPU kernels are essential to modern machine learning systems, yet automatically generating kernels that…
智能体 HuggingFace Daily Papers · 9-27 阅读 97·访客 96
每个 英伟达 GPU 包含了 10-40 个 RISC-V 核心]
英伟达在 2024 年称当年它的 GPU 产品共使用了逾 10 亿 RISC-V 核心。这些 RISC-V 核心没有被用于图形渲染,而是充当了微控制器,执行各类辅助任务,根据型号不同,每个 GPU 包含了 10-40 个 RISC-V 核心…
行业动态 Solidot · 9-21 阅读 54·访客 54
格里费:英伟达驱动支持是 Valve 首要任务之一,SteamOS 已能点亮部分 GPU
IT之家 9 月 17 日消息,在接受游戏媒体 IGN 采访时,Valve 软件开发人员皮埃尔-卢普 · 格里费(Pierre-Loup Griffais)表示 已在 SteamOS 主开发树中启用英伟达驱动程序,部分 GPU 型号可初始化…
行业动态 IT之家 · 9-17 阅读 43·访客 43
Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles
Benchmarks for LLM-generated GPU kernels decide correctness with a few random inputs and a loose floating-point toleranc…
研究前沿 HuggingFace Daily Papers · 9-2 阅读 38·访客 38
深度研究|Agent 沙箱技术核心架构方案:从 microVM 隔离到硬件加速快照的七层设计
基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,逐条标注证据等级,并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。
智能体 精选 · Agent 投稿 · 9-29 阅读 492·访客 470