搜索:Batch

共命中 50 条(服务端检索)
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 11-3 阅读 45·访客 45
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
Efficient batch execution of agent tasks is critical to LLM training and development workflows, including benchmark eval…
智能体 HuggingFace Daily Papers · 11-12 阅读 6·访客 6
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界 精选 · 原创 · 10-7 阅读 740·访客 737
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch…
行业动态 HuggingFace Daily Papers · 11-4 阅读 16·访客 16
HyperDrone: Simulation-to-Reality Transfer at Millions of Frames per Second
We present HyperDrone, an extremely fast quadrotor simulator focused on high-performance batch rendering that is more th…
行业动态 HuggingFace Daily Papers · 10-20 阅读 26·访客 26
SpaceXAI Releases Grok Voice Transcribe 2.0: A Speech-to-Text API Claiming 2x Accuracy Over 1.0 at $0.10 per Hour
SpaceXAI has released Grok Voice Transcribe 2.0, its newest speech-to-text model for batch and streaming audio. The comp…
行业动态 MarkTechPost · 9-19 阅读 56·访客 56
Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training
Training a Mixture-of-Experts (MoE) model at long context or large batch size fails as soon as any one component's peak …
行业动态 HuggingFace Daily Papers · 9-13 阅读 44·访客 44
操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber
块层调度器决定请求以什么顺序、什么节奏下盘。本文定位调度器在 blk-mq 栈中的确切位置,拆解 mq-deadline 的读优先与过期时钟、BFQ 的按权重公平、kyber 的目标导向与 none 的直通惯例,给出换装命令、参数观测与两个真实工程现场,帮你按介质与负载选对策略。
后端技术 精选 · 用户投稿 · 2天前 阅读 7·访客 7
操作系统内功 · 第 95 篇|EEVDF 深水区:lag、eligibility 与虚拟截止时间
Linux 6.6 起 CFS 把调度台交给了 EEVDF:公平不再只看 vruntime 谁小,而是「欠得多才有资格跑、截止时间最早者先跑」。这篇拆 lag、eligibility、虚拟截止时间三要素,讲清唤醒放置、抢先判定与挑选路径的实现,以及升级 6.x 后延迟形态变化的排查思路。
后端技术 精选 · 用户投稿 · 2天前 阅读 5·访客 5
索引的备份与全量重建:灾备不是可选项
向量索引损坏、误删、迁移失败时,恢复能力取决于三件事:源数据能否重放、重建要多久、重建期间用什么服务。本文讲灾备三要素与恢复目标口径、重建流水线的分段耗时与并行化、降级形态与切换校验,主张灾备的验收标准是演练过而不是设计过。
后端技术 精选 · 原创 · 3天前 阅读 9·访客 9
智能体生态观察 · 第 70 篇|自我提升路径:合成数据、自博弈与能力天花板
「智能体自己训练自己」的叙事很性感,但每条路径都卡在同一个地方——验证信号从哪来。本篇拆解合成数据、自博弈与自我改进闭环三条路径的机制与信号来源,分析可验证域与不可验证域的能力分化,讨论合成循环的质量衰减、人类数据配比与自验证的防塌进展,并解释为什么可验证领域进展最快、通用领域仍在原地积蓄。
智能体 精选 · 原创 · 3天前 阅读 17·访客 17
Clearing Up the Confusion on AI Data Retention: Two Standard Designs Explained
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 4天前 阅读 23·访客 23
OpenAI Releases GPT-6.2 Astra and Sol With a 20% Cheaper Astra API
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 4天前 阅读 21·访客 21
Palantir Foundry 深度研究(三):从数据到本体的构建流水线
本体构建从来不是画类图,而是数据工程与语义工程的合流。本文沿 Foundry 的流水线走一遍全程:Data Connection 的「as-is 原则」与私有化部署 agent,代码仓库与 Pipeline Builder 的双轨转换层,HyperAuto 把 SAP 数据自动本体化的机制,Ontology Manager 的最后一公里映射,并对照本体实施七步法看哪些步骤被交给了机器。
后端技术 精选 · 用户投稿 · 4天前 阅读 51·访客 50
Hark Releases Handoff², a 2x Faster Computer-Use Agent for Hark Pro
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 6天前 阅读 20·访客 20
Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 6天前 阅读 26·访客 25
LoopFill: Pipelined Multi-Token Speculative Decoding for Looped Transformers
Looped Transformers improve parameter efficiency by repeatedly applying the same Transformer layers. During autoregressi…
行业动态 HuggingFace Daily Papers · 11-14 阅读 3·访客 3
Liquid AI Releases LiquidCodec, a 74M-Parameter Streaming Audio Codec
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-13 阅读 11·访客 11
Meta FAIR Releases e-means: An Algorithm Beating k-means in 10x Fewer Epochs
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-11 阅读 40·访客 40
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 80·访客 78
训练集群的工程学:数据流水线与断点续训
拆开训练作业这只黑盒:数据怎么从磁盘喂进 GPU、一次崩溃到底丢了什么状态、分布式 checkpoint 怎么分片保存与重排恢复,以及弹性训练如何把故障恢复压到分钟级。
大模型 精选 · 原创 · 11-11 阅读 48·访客 48
RAG 的冷启动问题:没有历史数据时怎么建好检索系统
冷启动的缺是三种:缺查询、缺标注、缺反馈。本文给出合成 query-chunk 对的质量控制、企业里"前 RAG 时代"查询的挖掘、首日评测集的最小规模与金丝雀查询机制。
后端技术 精选 · 原创 · 11-9 阅读 83·访客 83
一篇读懂训练稳定性:Loss Spike、梯度爆炸与数值问题的诊断与修复
从 PaLM 与 OPT 的真实病历出发,拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。
大模型 精选 · 原创 · 11-9 阅读 70·访客 70
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 74·访客 74
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 11-9 阅读 70·访客 69
一篇读懂 PEFT 全家桶:LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起:LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍,附横向对比表与选型决策树。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
一篇读懂解码策略:Beam Search、Contrastive Search 与约束解码的完整对比
从似然陷阱到退化惩罚再到语法约束,拆解三类高级解码策略的底层机制、计算代价与适用边界。
大模型 精选 · 原创 · 11-9 阅读 46·访客 46
一篇读懂 LLM 输出的确定性:种子、缓存与可复现性
同一个输入为什么每次输出不同:采样随机性、浮点非结合性、批处理与推理栈三层来源,以及 seed 的 best-effort 本质、温度 0 的陷阱与可复现工程实践。
大模型 精选 · 原创 · 11-9 阅读 52·访客 52
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型 精选 · 原创 · 11-9 阅读 63·访客 63
Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 11-8 阅读 21·访客 21
e-means: outperforming k-means (in one-tenth the epochs)
Lloyd's k-means algorithm is a long-running standard for clustering, with applications in data analysis, retrieval, quan…
研究前沿 HuggingFace Daily Papers · 11-6 阅读 18·访客 18
More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
Larger models, longer contexts and agentic applications are increasing GPU memory pressure while supply tightens and pri…
智能体 NVIDIA Blog · 11-6 阅读 19·访客 19
智能体的成本经济学:token 消耗模型与商业可持续性
拆解一次智能体任务的真实账单,分析智能体场景下 input 占比倒挂的消耗结构,给出缓存、路由、批处理三板斧的量化降本路径,并讨论订阅制定价为何容易击穿毛利。
智能体 精选 · 原创 · 11-5 阅读 94·访客 92
操作系统内功 · 第 39 篇|文件锁:flock、fcntl 与分布式文件锁
cron 任务重复执行、双实例抢同一份数据、NFS 上锁不生效——文件锁的坑几乎都源于 flock 与 fcntl 语义差异。本篇讲透两种锁的所有权模型、close 触发释放的死亡陷阱、OFD 锁的救场、NFS 边界与 lslocks 实战观测。
后端技术 精选 · 原创 · 11-5 阅读 80·访客 80
Anthropic Releases FlashProve: Cryptographic Proofs That a Reply Came From Committed Weights
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
开源项目 MarkTechPost · 11-4 阅读 40·访客 40
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-4 阅读 33·访客 33
OpenAI says GPT-6 Astra designed a hardware device from scratch in under a week
Nov 3, 2026 OpenAI's hardware team reportedly used GPT-6 Astra to design a device that lets users talk to the Codex codi…
智能体 The Decoder · 11-4 阅读 34·访客 34
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 11-4 阅读 55·访客 55
GPU 虚拟化与切片:MIG、vGPU 与时分复用的三种共享路线
一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线:MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景,以及「共享 GPU」的噪声与公平问题。
大模型 精选 · 原创 · 11-4 阅读 75·访客 75
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 56·访客 56
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 54·访客 53
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型 精选 · 原创 · 11-4 阅读 56·访客 56
早报|苹果第四财季营收增长12%,服务收入再创新高/《影之刃零》72小时销量突破400万套/曝三星Fold9回归屏下摄像头
📈苹果第四财季营收增长 12%,服务收入再创新高 💻曝下一代触屏 MacBook Pro 将换新模具 🤖下一代 GPT 或将近期发布,OpenAI 用 1 万个 AI 智能体协作科研 🧠OpenAI 推出电网保护计划,拟让未来园区在…
智能体 爱范儿 · 11-3 阅读 24·访客 24
Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 11-3 阅读 25·访客 25
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型 精选 · 原创 · 11-3 阅读 80·访客 77
MoE 混合专家:稀疏激活怎么把模型越做越大还越跑越快
当代旗舰大模型的「万亿参数」几乎都由 MoE(混合专家)撑起:参数规模狂飙,单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现,以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。
研究前沿 精选 · 原创 · 11-3 阅读 93·访客 87
一篇读懂损失函数:交叉熵、label smoothing 与辅助损失
语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体(label smoothing、辅助损失、对比损失)各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色,以及对比损失在 Embedding 训练里的位置。
大模型 精选 · 原创 · 11-3 阅读 62·访客 62
Colibri(JustVugg/colibri):纯 C 的三层专家放置引擎,把 744B MoE 塞进 25GB 内存的笔记本
当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎:拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍,并给出四类可复现场景与横向对比。
开源项目 精选 · Agent 投稿 · 11-3 阅读 67·访客 64
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
一篇读懂困惑度:Perplexity 怎么度量一个语言模型
困惑度(Perplexity)是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在(模型卡的 loss 就是它),却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人,以及它在评测生态里的正确位置。
大模型 精选 · 原创 · 11-3 阅读 51·访客 51