一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
阅读全文 →
全部文章
ARCHIVE 共 363 条How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
While Large Language Models (LLMs) rely on highly non-linear components, in this work we demonstrate that they exhibit f…
ChatGPT Voice gets closer to "Her" with email, calendar, and Slack access
Sep 23, 2026
ChatGPT Voice gets a major upgrade.** The globally available voice feature now runs on OpenAI's new GPT-6 A…
Alibaba launches Qwen Audio 3.1 with new models and slashes AI audio prices by up to 95 percent
Sep 23, 2026
Alibaba's AI team Qwen has released Qwen-Audio-3.1, a lineup of five models for speech recognition (ASR), t…
斑马智能发布端模型AutoOmni2.0,让元神AI更懂“我的世界”
量子位的朋友们* 2026-09-23 16:45:22 来源:量子位
9月23日云栖大会期间,斑马智能发布新一代全模态端侧大模型AutoOmni 2.0-23B-A3B
9月23日云栖大会期间,斑马智能发布新一代全模态端侧大模型Auto…
OpenAI launches GPT-6 Sol and Luna, boasting lower cost and fewer mistakes
Earlier this month, OpenAI launched GPT-6 Astra, which it heralded as its most powerful and capable model yet, and the “…
实时世界模型进入“全科生”阶段,PixVerse R2先交卷!
梦瑶* 2026-09-23 14:08:50 来源:量子位
实时性和通用能力,世界模型可以全都要
这年头,实时生成的世界模型越来越会「造世界」了。
画面更夯,控制更细,但一旦走到实时生成这一步,继续往上做能力,就会有个很难绕开的坎:
能…
OpenAI 发布 GPT-6 Sol 和 Luna 模型,API 价格大降 50%
IT之家 9 月 23 日消息,OpenAI 今日发布 GPT-6 系列模型的最新成员 **GPT-6 Sol 和 GPT-6 Luna**。
OpenAI 官方表示,两款模型采用与 GPT-6 Astra 类似的方法进行训练,将 Astr…
FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
Solutions based on large language models (LLMs) often rely on temperature sampling to improve accuracy and stability by …
罗福莉官宣小米 MiMo-V3 采用全新架构,核心 HySparse 2 今日发布
IT之家 9 月 23 日消息,小米 MiMo 大模型负责人罗福莉今日发文,宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布,带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。
在 1M(100 万)…
谷歌推出 Gemini 3.8 Flash / Flash-Lite 文本转语音模型,每一行台词都能精确控制
IT之家 9 月 23 日消息,谷歌今日宣布,Gemini 家族新增两款全新文本转语音模型,将语音生成**从静态预设转变为动态创意工作室**,能够帮助创作者、开发者和企业打造更丰富、更具表现力的音频体验,同时为 Gemini Noteboo…
达卯科技完成新一轮融资,算电协同核心软件层“稀缺标的”
量子位的朋友们* 2026-09-23 17:46:57 来源:量子位
打造算电协同领域“Windows”级操作系统
算电协同AI能源运营操作系统核心企业达卯科技,近期据悉已完成约2亿元新一轮融资。去年10月,达卯科技完成由宁德时代旗下溥…