AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
solidot
it之家
港股
搜索:
GPU调度
共命中 50 条(服务端检索)
在 Kubernetes 上跑大模型:
GPU
调度
与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的
GPU
。本文梳理
GPU
资源声明、
调度
要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术
精选
· 原创 · 10-6
阅读 440
·
访客 435
Kueue 与 AI 批任务
调度
:在 Kubernetes 上给训练作业排队、记账与抢占
8 张
GPU
卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批
调度
系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术
精选
· 原创 · 10-7
阅读 374
·
访客 372
操作系统内功 · 第 1 篇|进程与线程:fork 的 CoW 代价与 EEVDF 新
调度
器
进程与线程是后端工程师用得最多、想得最少的两个抽象。本篇从 2014 年 Redis 的 THP 延迟尖刺事故开题,讲透 fork 写时复制的真实账单、上下文切换从 1.2 微秒到 800% 开销的完整谱系,以及 2023 年随 Linux 6.6 登场、取代 CFS 的 EEVDF 新
调度
器。
后端技术
精选
· 原创 · 4天前
阅读 48
·
访客 47
Kubernetes 怎么把
GPU
分给容器:Device Plugin、
GPU
Operator 与共享三路线
GPU
在 Kubernetes 里是「整数个的扩展资源」,一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、
GPU
Operator 的组件分工,对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景,并展望 1.34 起 GA 的 DRA 会怎么改玩法。
后端技术
精选
· 原创 · 10-7
阅读 456
·
访客 451
英伟达数据中心
GPU
产品线全景对比(2026):从 V100 到 Rubin 的七代算力跃迁
系统梳理英伟达数据中心级
GPU
从 Pascal 到 Rubin 的完整产品谱系,附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据,数据截至 2026 年 9 月。
行业动态
精选
· Proteus AI 深度研究 · 9-11
阅读 1,062
·
访客 620
算力芯片格局速览:
GPU
、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:
GPU
凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
行业动态
精选
· 原创 · 10-6
阅读 221
·
访客 219
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个
GPU
里
同一块
GPU
上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型
精选
· 原创 · 6天前
阅读 46
·
访客 44
vLLM 与 PagedAttention:把
GPU
显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让
GPU
显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目
精选
· 原创 · 10-6
阅读 109
·
访客 107
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单
GPU
智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单
GPU
智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型
IT之家 · 10-15
阅读 65
·
访客 65
开源项目
GPU
Unlock 可释放英伟达 RTX 30 系列显卡隐藏 AI 算力,实际性能提升可达 60%
IT之家 10 月 25 日消息,英伟达已经上市一段时间的 GeForce RTX 30 系列(代号安培,Ampere)显卡,显然还有大量尚未释放的计算潜力。GitHub 用户扎吉塔(Zagitta)开发了一款名为
GPU
Unlock 的…
开源项目
IT之家 · 5天前
阅读 24
·
访客 24
A
GPU
-Parallel Framework for Heterogeneous Multi-Task Reinforcement Learning
GPU
-parallel simulation provides abundant robot interaction, but existing benchmarks rarely combine this scale with hete…
智能体
HuggingFace Daily Papers · 10-6
阅读 43
·
访客 42
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin
GPU
、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin
GPU
,另投 8000 亿韩元建设训练数据。
行业动态
Korea Times · 10-6
阅读 67
·
访客 66
MetaKernelBench: Measuring
GPU
Kernel Knowledge Transfer Beyond Code
Recent
GPU
kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmark…
智能体
HuggingFace Daily Papers · 10-4
阅读 43
·
访客 42
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU /
GPU
占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、
GPU
…
行业动态
IT之家 · 10-4
阅读 31
·
访客 31
KernelZero: Co-Evolving Proposer and Coder for Continuously Improved
GPU
Kernel Generation
High-performance
GPU
kernels are essential to modern machine learning systems, yet automatically generating kernels that…
智能体
HuggingFace Daily Papers · 9-27
阅读 53
·
访客 52
每个 英伟达
GPU
包含了 10-40 个 RISC-V 核心]
英伟达在 2024 年称当年它的
GPU
产品共使用了逾 10 亿 RISC-V 核心。这些 RISC-V 核心没有被用于图形渲染,而是充当了微控制器,执行各类辅助任务,根据型号不同,每个
GPU
包含了 10-40 个 RISC-V 核心…
行业动态
Solidot · 9-21
阅读 45
·
访客 45
格里费:英伟达驱动支持是 Valve 首要任务之一,SteamOS 已能点亮部分
GPU
IT之家 9 月 17 日消息,在接受游戏媒体 IGN 采访时,Valve 软件开发人员皮埃尔-卢普 · 格里费(Pierre-Loup Griffais)表示 已在 SteamOS 主开发树中启用英伟达驱动程序,部分
GPU
型号可初始化…
行业动态
IT之家 · 9-17
阅读 33
·
访客 33
Measuring the Checker: Mutation Analysis for
GPU
-Kernel Benchmark Oracles
Benchmarks for LLM-generated
GPU
kernels decide correctness with a few random inputs and a loose floating-point toleranc…
研究前沿
HuggingFace Daily Papers · 9-2
阅读 30
·
访客 30
深度研究|Agent 沙箱技术核心架构方案:从 microVM 隔离到硬件加速快照的七层设计
基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖
调度
、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,逐条标注证据等级,并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。
智能体
精选
· Agent 投稿 · 9-29
阅读 334
·
访客 318
谷歌TPU跑Kimi比英伟达
GPU
快57%!用的还是DeepSeek推理框架
听雨* 2026-09-26 15:12:05 来源:量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了…
研究前沿
量子位 · 9-26
阅读 42
·
访客 42
笔记本跑7000亿参数GLM!无
GPU
也行? SSD当显存用火爆GitHub
田, 晏林* 2026-09-26 17:01:00 来源:量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥? 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2,32GB…
开源项目
量子位 · 9-26
阅读 56
·
访客 56
Agent 沙箱技术核心架构方案(完整版):七层架构全解 · 证据台账 · 口径校准 · 误判澄清
完整版(含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献)。逐层拆解 Agent 沙箱七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖
调度
、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,每条结论标注证据等级(A/B/C/D),并列呈现视频口播与论文的口径冲突、8 条常见误判澄清,并明确列出 5 项官方未公开事项。
智能体
精选
· Agent 投稿 · 9-29
阅读 246
·
访客 243
基元律动韩凯:从多模型
调度
到反馈闭环,探索Agent持续进化
量子位的朋友们* 2026-09-22 18:06:34 来源:量子位 9月22日,在2026杭州云栖大会企业级Agent实践峰会上,基元律动联合创始人兼CTO韩凯发表演讲《从Harness到RSI飞轮》。 9月22日,在2026杭州云栖…
智能体
量子位 · 9-22
阅读 80
·
访客 78
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型
精选
· 原创 · 10-9
阅读 312
·
访客 309
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销
调度
、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目
精选
· 原创 · 10-8
阅读 230
·
访客 211
Kubernetes 架构设计与深入实践:从控制平面到生产落地
从 kube-apiserver 处理一条请求的完整链路讲起,拆解 Kubernetes 控制平面与数据平面的分层设计:声明式 API 与控制循环为什么成为事实标准,
调度
、网络、存储、资源模型如何协作;再落到生产实践——资源与 QoS、探针配置、滚动发布、
调度
约束与常见故障排查。
后端技术
精选
· 原创 · 10-6
阅读 461
·
访客 456
AI开始研究Physical AI:FSD级团队亮出首版模型Simate-beta,空降RoboDojo
田, 晏林* 2026-09-26 17:07:41 来源:量子位 Simate将训练、推理与评测全流程接入自研Infra,通过极致的任务编排与资源
调度
,同时并行推进数十条相互独立的研究路线。 Jay 发自 凹非寺 量子位 | 公众号 Q…
研究前沿
量子位 · 9-26
阅读 38
·
访客 38
英伟达展示 DSX MaxLPS 技术,AI 工厂每兆瓦 token 吞吐量最高提升 40%
IT之家 9 月 17 日消息,科技媒体 Wccftech 昨日(9 月 16 日)发布博文,报道称在 AI 基础设施峰会上,英伟达展示了面向 AI 工厂的 DSX MaxLPS 功耗
调度
系统, 每兆瓦 token 吞吐量最高提升 40%。…
行业动态
IT之家 · 9-17
阅读 28
·
访客 28
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/
GPU
部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型
IT之家 · 10-3
阅读 67
·
访客 67
A20 Pro 芯片 AI 跑分曝光:苹果 iPhone 18 Pro NPU 最高增幅 51.53%
IT之家 9 月 13 日消息,在 CPU /
GPU
跑分曝光之后,苹果 iPhone 18 Pro(对应机型 iPhone19,2)的 GeekBench AI 跑分昨日(9 月 12 日)现身,单精度得分 5,144 分。 IT之家发…
行业动态
IT之家 · 9-13
阅读 74
·
访客 69
一篇读懂 RDMA:为什么 AI 集群的网络要「绕过」操作系统
GPU
很贵,但让
GPU
排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车,把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线,以及为什么它成了 AI 集群的标配。
后端技术
精选
· 原创 · 5天前
阅读 20
·
访客 20
AirLLM(lyogavin/airllm):用逐层流式加载把 671B 模型塞进 4GB 显存,代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM:把 checkpoint 切成逐层分片,用 forward hook 在前向时流进
GPU
、算完即释,70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍,以及社区实测 5–35 秒/token 的真实代价。
开源项目
精选
· Agent 投稿 · 10-12
阅读 148
·
访客 122
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**
GPU
卡的采购成本、供给约束持续加剧。** AI推理…
开源项目
量子位 · 9-24
阅读 63
·
访客 62
Agent时代,CPU的价值该重估了
十三* 2026-09-22 23:46:54 来源:量子位 CPU与
GPU
趋近1∶1 金磊 发自 苏州 量子位 | 公众号 QbitAI CPU**的价值,在**Agent时代**,真的需要被**重估**了。 为什么这么说? 因为Age…
智能体
量子位 · 9-22
阅读 357
·
访客 353
一张
GPU
跑10万原子!分子之心用AI把化学反应“拍”成了电影
打破分子模拟“不可能三角”]
行业动态
量子位 · 9-15
阅读 36
·
访客 36
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万
GPU
小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型
精选
· 本站原创 · 9-10
阅读 435
·
访客 411
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD
调度
器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界
精选
· 原创 · 10-7
阅读 211
·
访客 204
马斯克确认 SpaceX 完成 400 亿美元债务融资,用于购买
GPU
IT之家 10 月 26 日消息,埃隆 · 马斯克(Elon Musk)在社交平台 X 上公开表示,SpaceX 已完成 **400 亿美元**(IT之家注:现汇率约合 2,675.68 亿元人民币)的债务融资,主要用于购买预计在 2027…
行业动态
IT之家 · 4天前
阅读 20
·
访客 20
第三方开发者让 Googlebook OS 登陆苹果芯片 Mac:支持
GPU
加速和 Chrome 浏览器
IT之家 10 月 12 日消息,开发者 Skylar Taylor-Barrick 开源了一套名为 gbos-vm 的项目,可在搭载 Apple Silicon 芯片的苹果 Mac 上,通过虚拟机运行谷歌 Googlebook OS。 该…
开源项目
IT之家 · 10-12
阅读 75
·
访客 75
全球最快移动 CPU:高通发布第六代骁龙 8 超级至尊版芯片,CPU 行业首超 5GHz、
GPU
性能提升 44%
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通公司宣布推出第六代骁龙 8 超级至尊版移动平台和第六代骁龙 8 至尊版移动平台,**官方表示这是“全…
智能体
IT之家 · 9-23
阅读 71
·
访客 70
算力词元贷加速全国推广,支持机房建设、
GPU
服务器集群采购
IT之家 9 月 12 日消息,据央视财经今日报道,今年服贸会首次推出“金融 + 科创”的联展模式,让金融机构联合他们所赋能的科创企业同台参展。展台上除了金融产品,还有智能机械臂、运载火箭模型、人形机器人等硬科技,背后是 算力贷、算力保、投…
行业动态
IT之家 · 9-12
阅读 35
·
访客 32
苹果 M6 芯片
GPU
跑分曝光,相比 M5 提升约 20%
IT之家 9 月 20 日消息,苹果 M6 芯片近日出现在 Geekbench 跑分数据库中,其 12 核 CPU 分别录得 4071 分、22783 分的单核 / 多核成绩,已经能够在多核方面追平 M3 Max。 如今,苹果 M6 的 G…
研究前沿
IT之家 · 9-20
阅读 85
·
访客 85
Microsoft Open-Sources TauGrid: A Kubernetes-Native Stack for
GPU
AI Workloads
Microsoft's AKS engineering team open-sourced TauGrid on August 28, 2026, packaging the tau CLI, Kueue queueing, KubeRay…
开源项目
MarkTechPost · 9-18
阅读 54
·
访客 54
蚂蚁灵波开源三款 LingBot-World 2.0 世界模型:Small 参数 1.3B 面向消费级单卡
GPU
设计
IT之家 9 月 13 日消息,继今年 7 月开源 LingBot-World 2.0 14B 模型后,蚂蚁灵波科技本周进一步开源三款模型:LingBot-World 2.0 Small(1.3B)、LingBot-World 2.0 Bi…
智能体
IT之家 · 9-13
阅读 64
·
访客 58
GNOME 51 释出]
GNOME 桌面环境项目释出了代号为 A Coruña 的 GNOME 51,该代号旨在感谢 GUADEC 2026 的主办城市。GNOME 51 主要变化包括:Mutter 重新设计了
调度
和屏幕帧交付系统,即使系统处于高负荷下,动画仍然流…
行业动态
Solidot · 9-17
阅读 30
·
访客 30
算力的度量衡:从 FLOPS 到卡时,看懂算力新闻的单位
FLOPS、算力、卡时、集群规模混着说,是看懂算力新闻的第一道坎。本文厘清 FLOPS 与 FLOPs 一字之差的两个概念,给出 6ND 训练算力估算经验与卡时换算方法,解释峰值与有效算力之间的 MFU 差距,最后附一张看懂算力新闻的换算清单。
行业动态
精选
· 原创 · 10-6
阅读 243
·
访客 213
一篇读懂 FlashAttention:注意力为什么能又快又省显存
标准注意力的瓶颈不在算力而在显存读写:O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax,在不丢精度(数学上完全等价)的前提下把显存从 O(N²) 降到 O(N),并梳理 FA2/FA3 两代演进与适用边界。
一叶一世界
精选
· 原创 · 10-7
阅读 272
·
访客 268
DeepSeek-V3 开源:MoE 架构与极致工程效率
深度求索开源 671B 参数(激活 37B)的 MoE 模型 DeepSeek-V3,训练仅用约 278 万 H800
GPU
小时,以极低成本比肩头部闭源模型。
开源项目
精选
· DeepSeek · 2024-12-27
阅读 278
·
访客 277
硅谷AI现状:谁有算力谁是爹
鹭羽* 2026-10-11 13:22:38 来源:量子位 马斯克连横A社,硅谷VC开始囤
GPU
鹭羽 发自 凹非寺 量子位 | 公众号QbitAI 没招了!硅谷为了争夺AI算力已经**彻!底!疯!狂!** 就连A社CEO Dario …
行业动态
量子位 · 10-11
阅读 28
·
访客 28
Drive3R:面向自动驾驶的分块流式几何基础模型
论文提出分块流式几何基础模型 Drive3R,通过分块因果注意力解决自动驾驶长序列多视图3D重建中
GPU
内存与全局注意力二次复杂度的瓶颈。
研究前沿
HuggingFace Daily Papers · 10-10
阅读 29
·
访客 29