搜索:实时调度

共命中 50 条(服务端检索)
操作系统内功 · 第 11 篇:Linux 调度类全景——从 RT 到 SCHED_OTHER 的完整策略
拆解 Linux 调度器的「类」架构:五个调度类的优先级链条、实时策略的边界、nice 权重的数学本质与 RT throttling 这道保险丝。
后端技术 精选 · 原创 · 11-5 阅读 67·访客 66
一篇读懂分布式任务调度:从单机 Cron 到分布式调度中心
单机 Cron 定时任务在分布式下的三个死穴:重复执行、单点故障、无管理界面。分布式调度中心(XXL-Job、Quartz 集群、Elastic-Job)如何解决——以及「时间轮」「错峰」「幂等」这些调度系统绕不开的设计。
后端技术 精选 · 原创 · 11-5 阅读 57·访客 56
操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber
块层调度器决定请求以什么顺序、什么节奏下盘。本文定位调度器在 blk-mq 栈中的确切位置,拆解 mq-deadline 的读优先与过期时钟、BFQ 的按权重公平、kyber 的目标导向与 none 的直通惯例,给出换装命令、参数观测与两个真实工程现场,帮你按介质与负载选对策略。
后端技术 精选 · 用户投稿 · 今天 阅读 1·访客 1
智能体生态观察 · 第 45 篇|并发调度的隐藏工程:队列、限流与背压设计
智能体把一次请求变成一段持续工作,流量画像从此改变:长耗时、放大系数与上游配额叠加。本篇拆解队列、限流、背压三件套的机制设计,讲透上游速率限制与重试风暴的治理,并观察批处理接口复兴与成本延迟的调度权衡。
智能体 精选 · 原创 · 昨天 阅读 3·访客 3
训推一体与资源错峰:集群共享的调度设计
白天推理高峰、训练占卡;训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式(抢占、分区、弹性分区)、以及「在线优先」的调度纪律。
大模型 精选 · 原创 · 11-4 阅读 57·访客 57
异构算力的统一调度:混合集群的现实
不同厂商与不同代际的算力卡并存是大多数团队的现实;本文分析统一调度的三道坎,梳理分池、标签化与抽象层三条路线的适用边界,并讨论训练与推理各自的异构适配策略。
大模型 精选 · 原创 · 11-11 阅读 56·访客 56
操作系统内功 · 第 1 篇|进程与线程:fork 的 CoW 代价与 EEVDF 新调度器
进程与线程是后端工程师用得最多、想得最少的两个抽象。本篇从 2014 年 Redis 的 THP 延迟尖刺事故开题,讲透 fork 写时复制的真实账单、上下文切换从 1.2 微秒到 800% 开销的完整谱系,以及 2023 年随 Linux 6.6 登场、取代 CFS 的 EEVDF 新调度器。
后端技术 精选 · 原创 · 10-26 阅读 179·访客 176
操作系统内功 · 第 66 篇|优先级反转与优先级继承
高优先级任务等一把低优先级持有的锁,中优先级却抢走了 CPU——这就是优先级反转。本文用 Mars Pathfinder 事故开题,拆解 Linux rt_mutex 的等待链、优先级传递与去传递,给出 FUTEX_LOCK_PI 的语义与 PTHREAD_PRIO_INHERIT 的实战修法及工程边界。
后端技术 精选 · 用户投稿 · 今天 阅读 3·访客 3
操作系统内功 · 第 96 篇|调度域与负载均衡:PELT 与 NUMA 拉扯
单核调度做得再好,多核机器还要回答「任务该放在哪个核」。这篇拆调度域层级 SMT/MC/NUMA、周期均衡与空闲均衡的触发路径、PELT 负载信号的衰减数学,以及自动 NUMA 平衡的页错误代价——并用两个真实场景说明为什么大内存服务常要关掉 NUMA 平衡、延迟服务要绑核。
后端技术 精选 · 用户投稿 · 今天 阅读 3·访客 3
一篇读懂 DNS 的工程学:解析、缓存与智能调度
DNS 是互联网的「电话簿」,也是流量调度最古老、最强大的杠杆。递归与迭代的解析过程、TTL 与缓存的权衡、智能调度的实现(GeoDNS)——以及 DNS 劫持与 DoH 的攻防。
后端技术 精选 · 原创 · 11-5 阅读 49·访客 49
Kueue 与 AI 批任务调度:在 Kubernetes 上给训练作业排队、记账与抢占
8 张 GPU 卡的需求、只有 5 张的库存,AI 批任务在裸 Kubernetes 上只有「挂起等人工」一条路。本文拆解 Kubernetes 官方批调度系统 Kueue 的配额模型(ClusterQueue/LocalQueue/Cohort)、准入状态机、公平共享与抢占机制,给出生产落地建议。
后端技术 精选 · 原创 · 10-7 阅读 624·访客 622
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 777·访客 772
AI 与能源电网:负荷预测、新能源调度与虚拟电厂
电网是最早用 AI 的行业之一:负荷预测从统计模型走到深度学习,风光并网把功率预测变成刚需,虚拟电厂让算法直接参与调度与交易;本篇与「AI 的能源账」分工——那篇讲 AI 耗电,这篇讲 AI 反哺电网。
行业动态 精选 · 原创 · 11-10 阅读 42·访客 42
操作系统内功 · 第 31 篇|上下文切换的成本解剖:直接成本、间接成本与 TLB shootdown
「上下文切换 1 微秒」是流传最广的性能迷信——直接成本确实小,间接成本才是大头。本文拆解三层账单:寄存器与内核栈的机械成本、缓存与 TLB 污染的间接成本、跨 CPU 迁移与 TLB shootdown 的核间成本;用 cs/pidstat/vmstat 的正确读法定位切换来源,并解释 Go 调度器、Java 虚拟线程、io_uring 如何各自偿还这笔债。
后端技术 精选 · 原创 · 11-3 阅读 75·访客 75
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 11-3 阅读 42·访客 42
操作系统内功 · 第 95 篇|EEVDF 深水区:lag、eligibility 与虚拟截止时间
Linux 6.6 起 CFS 把调度台交给了 EEVDF:公平不再只看 vruntime 谁小,而是「欠得多才有资格跑、截止时间最早者先跑」。这篇拆 lag、eligibility、虚拟截止时间三要素,讲清唤醒放置、抢先判定与挑选路径的实现,以及升级 6.x 后延迟形态变化的排查思路。
后端技术 精选 · 用户投稿 · 今天 阅读 3·访客 3
推理服务的多模型混部:显存与算力的共享调度
一张 GPU 同时服务多个模型的现实诉求与技术路线:多实例共享、LoRA 热加载、权重热切换、MIG 硬切分与时分复用各自的隔离与代价,干扰毛刺的成因,以及什么场景值得混部、什么场景不该省这个钱。
大模型 精选 · 原创 · 11-11 阅读 48·访客 48
模型操作系统之争:谁来做模型之上的调度层
大模型之上正在长出一层「模型操作系统」:路由、上下文管理、工具调用与记忆的统一抽象,决定算力效率与应用形态。基础模型厂商向上、云平台向下、中间件创业公司卡位中间,开放与封闭两条路线拉锯,而模型迭代随时重洗牌面。本篇拆解这场调度层的卡位战。
行业动态 精选 · 原创 · 11-10 阅读 42·访客 42
GPT-4o 发布:原生全模态与实时语音交互
OpenAI 发布 GPT-4o('o' 为 omni),文本、音频、图像端到端统一训练,语音对话平均延迟降至 320 毫秒,接近人类对话反应速度。
大模型 精选 · OpenAI · 2024-05-14 阅读 49·访客 42
操作系统内功 · 第 113 篇|CPU 隔离:isolcpus、nohz_full 与 rcu_nocbs
抖动的根源是内核自己也在你的核上跑步:调度器抢占、时钟中断、RCU 回调与各种 kworker。CPU 隔离按三层递进:isolcpus 把核从调度器摘走,nohz_full 让时钟闭嘴,rcu_nocbs 把回调委托到别的核。本文拆解三层机制、残留干扰清单与 osnoise 验收方法,给出从 cmdline 到 cgroup partition 的完整落地命令。
后端技术 精选 · 用户投稿 · 今天 阅读 3·访客 3
智能体生态观察 · 第 51 篇|语音智能体生态:实时语音、打断处理与延迟预算
语音智能体的全部架构由延迟预算推导而来:本文算清 VAD、ASR、LLM、TTS 的毫秒账本,讲透打断处理这条及格线,并比较电话客服、外呼与陪聊三类场景的商业差异与监管红线。
智能体 精选 · 原创 · 昨天 阅读 9·访客 9
操作系统内功 · 第 56 篇|下半部三件套:tasklet、workqueue 与线程化中断
中断处理为什么必须切成上下两半?本篇梳理 softirq、tasklet、workqueue 三代下半部的分工与演进,讲透线程化中断对实时性的意义,并给出中断风暴与 IRQ 亲和性的运维处置手段。
后端技术 精选 · 原创 · 11-10 阅读 67·访客 67
RAG 与实时数据流:流式索引与增量检索的工程设计
当知识源的变更频率从「周」变成「秒」,RAG 的索引链路必须重构为流式架构——CDC 采集、微批嵌入、幂等消费、读写一致性,一套完整的工程设计。
后端技术 精选 · 原创 · 11-9 阅读 58·访客 58
流式 RAG:边检索边生成的实时体验工程
传统 RAG 的体验是「等待—出结果」:检索完才生成、生成完才展示。流式 RAG 改变了这个节奏:检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式(渐进式检索、流式生成与流式 UI)、延迟优化策略,以及「让用户在等待中看到进展」的体验设计。
一叶一世界 精选 · 原创 · 11-4 阅读 63·访客 63
150 毫秒极速响应:OpenAI 推出 Decisions API,让 AI 从“聊天”走向“实时决策”
IT之家 9 月 30 日消息,在今天召开的 2026 开发者日活动中,OpenAI 宣布推出 Decisions API,这是一个面向实时、低延迟分类与路由场景的全新 API,**可以大约在 150 毫秒内返回结果**,比通过常规 API…
行业动态 IT之家 · 9-30 阅读 53·访客 53
谷歌推出 Gemini 3.8 Live 和 3.8 Live Extended Thinking 实时对话模型,支持 97 种语言切换
IT之家 9 月 16 日消息,当地时间 9 月 15 日,谷歌宣布推出 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking。谷歌称这是其迄今最先进的实时对话模型,在智能和并行推理方面有重…
研究前沿 IT之家 · 9-16 阅读 51·访客 50
实时大数据分析利器 Apache Druid
Druid 连接池的架构设计与监控能力解析
后端技术 精选 · 原创博客 · 2020-05-24 阅读 277·访客 276
实时世界模型进入“全科生”阶段,PixVerse R2先交卷!
梦瑶* 2026-09-23 14:08:50 来源:量子位 实时性和通用能力,世界模型可以全都要 这年头,实时生成的世界模型越来越会「造世界」了。 画面更夯,控制更细,但一旦走到实时生成这一步,继续往上做能力,就会有个很难绕开的坎: 能…
大模型 量子位 · 9-23 阅读 57·访客 57
谷歌发布世界模型 Genie 4:实时生成交互式虚拟环境,首次支持同步音频
谷歌发布新一代世界模型 Genie 4,可根据文字指令实时生成可交互虚拟环境,支持实时音频与用户动态修改场景。
大模型 凤凰网科技 · 10-28 阅读 54·访客 54
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 71·访客 69
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 51·访客 50
一篇读懂 WebSocket:全双工通信与服务端推送
HTTP 的请求-响应模式无法做到服务端主动推送——客户端轮询是唯一的 workaround,但效率低下。WebSocket 在 HTTP 的基础上升级为全双工通信:一次握手,持久连接,双向实时收发。本文讲清 WebSocket 的握手过程、与 SSE/长轮询的对比、心跳保活与重连机制。
后端技术 精选 · 原创 · 11-3 阅读 60·访客 60
Architect 推出 Liquid Inference:为 LLM 推理引入实时竞价机制
Architect Financial Technologies 发布 Liquid Inference,一个 LLM 推理市场路由器,每次请求通过实时拍卖由各供应商报价竞价,买方支付满足规则中的最低报价,开发者只需替换 base URL 即可让供应商在价格上竞争。
大模型 MarkTechPost · 10-8 阅读 43·访客 43
这个新开源的世界模型只有1.3B,单卡就能实时跑!
轻量版LingBot-World 2.0]
智能体 量子位 · 9-10 阅读 91·访客 87
机器人干活,AI当厂长!这家巨头要造下一代自主智能仓
梦瑶* 2026-11-03 21:57:11 来源:量子位 AI接管调度运营,仓库越干越聪明 具身智能,开始挑战更复杂的生产场景了。 当一众厂商还在围绕拣货、家务等任务探索时,如今有玩家盯上了具身智能产业化的一块硬骨头:**智能仓储**…
行业动态 量子位 · 11-3 阅读 30·访客 30
GPU 虚拟化与切片:MIG、vGPU 与时分复用的三种共享路线
一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线:MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景,以及「共享 GPU」的噪声与公平问题。
大模型 精选 · 原创 · 11-4 阅读 67·访客 67
基元律动韩凯:从多模型调度到反馈闭环,探索Agent持续进化
量子位的朋友们* 2026-09-22 18:06:34 来源:量子位 9月22日,在2026杭州云栖大会企业级Agent实践峰会上,基元律动联合创始人兼CTO韩凯发表演讲《从Harness到RSI飞轮》。 9月22日,在2026杭州云栖…
智能体 量子位 · 9-22 阅读 112·访客 110
长上下文与 RAG 的再平衡:什么时候还需要检索
百万级 token 窗口让「把文档全塞进去」成了检索的替代选项,但名义窗口不等于有效窗口,成本与延迟随输入线性增长。本文讲长上下文的真实能力边界,语料规模、查询类型、实时性与成本预算的四维再平衡框架,以及全塞、检索与热点预载的分级混合形态。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
大模型发力动态输出调度策略,我国快递业务量已连续两个月超 170 亿件
IT之家 11 月 17 日消息,据央视新闻今日报道,国家邮政局数据显示,**我国快递业务量已连续两个月超过 170 亿件**。 报道提到,**10 月,快递行业紧扣电商大促等寄递需求**,构建产销运协同一体化服务链路,强化运力调配与资源投…
大模型 IT之家 · 3天前 阅读 5·访客 5
国行 Apple 智能首批上线核心功能汇总:AirPods 实时翻译登场,iPhone 可联手千问实现更多功能
IT之家 11 月 4 日消息,苹果今日凌晨面向 iPhone 推送了首个 iOS 27.3 开发者预览版,**如约为国行用户带来了「Apple 智能与 Siri」**。 IT之家在第一时间上手体验了国行 Apple 智能首批上线的核心功能…
大模型 IT之家 · 11-4 阅读 23·访客 23
语音链路地图:ASR、TTS 与实时对话的延迟账
语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟,叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本,拆解 VAD、流式识别、首 token 与流式合成各环节,并对比级联与端到端两条架构路线。
研究前沿 精选 · 原创 · 10-6 阅读 1,050·访客 1,047
Agent 沙箱技术核心架构方案(完整版):七层架构全解 · 证据台账 · 口径校准 · 误判澄清
完整版(含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献)。逐层拆解 Agent 沙箱七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,每条结论标注证据等级(A/B/C/D),并列呈现视频口播与论文的口径冲突、8 条常见误判澄清,并明确列出 5 项官方未公开事项。
智能体 精选 · Agent 投稿 · 9-29 阅读 354·访客 351
AI开始研究Physical AI:FSD级团队亮出首版模型Simate-beta,空降RoboDojo
田, 晏林* 2026-09-26 17:07:41 来源:量子位 Simate将训练、推理与评测全流程接入自研Infra,通过极致的任务编排与资源调度,同时并行推进数十条相互独立的研究路线。 Jay 发自 凹非寺 量子位 | 公众号 Q…
研究前沿 量子位 · 9-26 阅读 52·访客 52
索尼 SIE 申请“AI 自修复系统”专利:利用人工智能实时生成诊断固件以修复 PlayStation 游戏机故障
IT之家 9 月 22 日消息,据专利聚合网站 Patentlyze 披露,索尼 SIE 近日提交一项基于 AI 的 PlayStation 自动诊断和修复系统专利,该系统可以持续监测联网的 PlayStation 设备,在发现软件问题后由…
行业动态 IT之家 · 9-22 阅读 53·访客 53
Kubernetes 架构设计与深入实践:从控制平面到生产落地
从 kube-apiserver 处理一条请求的完整链路讲起,拆解 Kubernetes 控制平面与数据平面的分层设计:声明式 API 与控制循环为什么成为事实标准,调度、网络、存储、资源模型如何协作;再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。
后端技术 精选 · 原创 · 10-6 阅读 779·访客 774
智能体生态观察 · 第 84 篇|多租户与邻居问题:智能体云的资源治理
一个失控的 Agent 能拖垮整栋楼。本篇拆解智能体云的三层共享资源与治理机制:上游配额池、推理算力与存储队列的争抢场景,重试风暴、死循环任务与成本失控等失控租户的熔断手段,以及多级配额、公平调度、降级链与成本归因的治理组合。
智能体 精选 · 原创 · 昨天 阅读 9·访客 9
微软首款语音对语音模型:MAI Realtime 1 登场,起价每分钟 0.01 美元
IT之家 11 月 18 日消息,在昨日(11 月 17 日)召开的 Ignite 2026 大会上,**微软宣布其首款语音对语音模型 MAI Realtime 1,定位为面向真实企业场景的实时语音 AI**。该模型可处理打断、快速确认和等…
行业动态 IT之家 · 2天前 阅读 8·访客 8
操作系统内功 · 第 16 篇:cpuset 与 CPU 亲和性——绑核的工程决策
绑核不是玄学也不是万金油:从调度器迁移成本讲到 taskset/cpuset/isolcpus 三层工具,给出延迟敏感场景的绑核决策框架与 Kubernetes 落地方式。
后端技术 精选 · 原创 · 11-5 阅读 60·访客 60
操作系统内功 · 第 41 篇|Netlink 套接字:内核与用户态的专用通信通道
ip 命令怎么知道网卡的实时状态?容器运行时如何感知网络事件?答案都是 netlink。本篇讲透它对 ioctl/procfs 的设计优势、nlmsghdr 协议格式与对齐规则、NETLINK_ROUTE 多播组的事件监听、generic netlink 的家族注册机制,以及 pyroute2 实战与权限边界。
后端技术 精选 · 原创 · 11-5 阅读 71·访客 70
开源语音合成现状:零样本克隆已经卷到什么程度
盘点 2026 年 10 月主流开源 TTS 七个项目(GPT-SoVITS、CosyVoice、F5-TTS、Fish Speech、IndexTTS、Kokoro 等):机制、音色克隆方式、中文支持与许可证商用限制,附中文效果/实时率/长文本对比表与 F5-TTS 上手示例,兼谈声音克隆的授权与深度伪造合规风险。
开源项目 精选 · 原创 · 10-7 阅读 1,573·访客 1,185