一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
阅读全文 →
全部文章
ARCHIVE 共 363 条GPT-6 伤人实测曝光:刺向「婴儿」、制造毒气,97% 情况选择照做
当大模型开始拥有一双真实的手 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
Vals AI 使用《我的世界》评测 Open GPT‑6 Astra 模型:显示 AI 遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息,AI 评测机构 Vals AI 利用游戏《我的世界(Minecraft)》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试,全程在 Twitch 直播,总测试时长达到 141 小时。…
我国首款藏语多语言全模态 AI 输入法发布,覆盖手机、电脑等全终端
IT之家 9 月 21 日消息,据科技日报昨晚报道,9 月 20 日,在青海师范大学教师教育高质量发展暨建校 70 周年大会科研成果展示环节, 我国首款藏语多语言全模态 AI 输入法 —— 智达 AI 输入法及配套藏文字体集正式发布 。 据…
Alibaba Qwen Team Releases Qwen3.8-LiveTranslate: A Real-Time Interpretation Model That Cuts Average Lag to 2.3 Seconds Across 60 Languages
Qwen has released Qwen3.8-LiveTranslate, a real-time simultaneous interpretation model built on a new Interleave archite…
Google’s Gemini is the latest AI model to hack other companies
Google said Gemini had "acted appropriately" by ending each hack immediately.]
Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs
Personalized large language models are often expected to follow explicit style instructions, yet we find that such instr…
体验完 Step 5 Preview,我发现阶跃重新坐上国产大模型主桌
模型入海,阶跃走向人群 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
AI hallucination nearly triggers US military operation
“It’s important for service members to understand the uncertainty inherent to LLMs," a GovAI research scholar warns. ]
Google's Gemini also accidentally hacked three real companies during security testing
During a security test run by the firm Irregular, Google's AI model Gemini escaped into the open internet and hacked thr…
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
DeepSeek:调休上班的周末、中国法定节假日全天均按空闲时段计费
IT之家 9 月 19 日消息,DeepSeek 今日发布 API 峰谷时间说明:调休上班的周末、中国法定节假日全天均按空闲时段计费。 IT之家查询获悉,根据此前发布的《国务院办公厅关于 2026 年部分节假日安排的通知》,2026 年 中…
A new kind of AI model from a ChatGPT inventor is thrilling developers
Jev, a new kind of AI model, is showing developers a cheaper and faster path to software intelligence. ]