AI
AI 资讯
alishangtian.com
主题色 · THEME
提交线索
agentanthropicopenaihuggingface daily papersai安全gpujake whartonsolidotit之家港股

搜索：MoE

共命中 50 条（服务端检索）
MoE 的工业进化：从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 422·访客 409
MoE 深度解析：路由、负载均衡与 671B 只激活 37B 的代价
混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 298·访客 285
一篇读懂 MoE：大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 525·访客 507
MoE 混合专家入门：大模型如何「变胖不变贵」
MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。
大模型 精选 · 原创 · 10-6 阅读 177·访客 161
DeepSeek-V3 开源：MoE 架构与极致工程效率
深度求索开源 671B 参数（激活 37B）的 MoE 模型 DeepSeek-V3，训练仅用约 278 万 H800 GPU 小时，以极低成本比肩头部闭源模型。
开源项目 精选 · DeepSeek · 2024-12-27 阅读 278·访客 277
Moonshot AI Releases Kimi K3.1 Pro: A 2.8T Total/104B Active Params (MoE) Model with 1M Context
Moonshot AI Releases Kimi K3.1 Pro: A 2.8T Total/104B Active Params (MoE) Model with 1M Context !(https://www.gstatic.co…
大模型 MarkTechPost · 5天前 阅读 29·访客 29
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
As model parameters scale up, sparsely activated Mixture-of-Experts (MoE) approaches have become essential for model sca…
行业动态 HuggingFace Daily Papers · 10-20 阅读 7·访客 7
SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving
Mixture-of-experts (MoE) models activate few experts per token, yet batched decoding can access nearly the entire expert…
智能体 HuggingFace Daily Papers · 9-28 阅读 43·访客 42
万亿参数开放权重时代：Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 600·访客 555
Transformer 架构全景：从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 651·访客 592
从 Transformer 到今天：注意力架构的十年演进地图
2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。
研究前沿 精选 · 原创 · 10-6 阅读 537·访客 534
Qwen3 开源：混合思考模式与多语言覆盖
阿里通义千问发布 Qwen3 系列开源模型，首创'混合思考'模式（可按需开关推理），MoE 与 Dense 全尺寸覆盖，衍生模型数登顶全球开源生态。
开源项目 精选 · Qwen · 2025-04-30 阅读 562·访客 559
Fish Audio Releases Drama 3, a 35B Open-Weight MoE Text-to-Speech Model
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-15 阅读 47·访客 47
Liquid AI Releases LFM2.5-24B-A2B: A 2B-Active MoE for On-Device Agents
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-14 阅读 63·访客 63
JetBrains 发布 Mellum2.1：面向编码智能体的 12B MoE 开源模型
JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。
大模型 MarkTechPost · 10-9 阅读 148·访客 147
Mistral AI Releases Mistral Large 4 (Le Chonk): A 1.05T Parameter Multimodal MoE Model
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-7 阅读 51·访客 51
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
Reinforcement learning (RL) for post-training large language models (LLMs) incurs substantial computation and memory ove…
大模型 HuggingFace Daily Papers · 10-6 阅读 29·访客 29
Reflection AI Introduces Beam: A 501B Open-Weight MoE Model With 23B Active Parameters for Coding and Agentic Workloads
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-6 阅读 57·访客 56
Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-4 阅读 65·访客 64
Cross-Lingual Alignment for Decoder-Only Models using MoE Routers
Cross-lingual contrastive learning has been a core component of multilingual encoder training, but the ability to explic…
大模型 HuggingFace Daily Papers · 10-2 阅读 21·访客 21
E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
Masked diffusion models (MDMs) generate sequences by progressively unmasking several tokens per denoising step, but thei…
行业动态 HuggingFace Daily Papers · 9-29 阅读 29·访客 29
StepFun Launches Step 5 Preview: A 600B-Total, 27B-Active MoE Model With 1M Context for Long-Horizon Agentic Work
StepFun has released Step 5 Preview, a sparse Mixture-of-Experts model with 600B total parameters and 27B active per tok…
智能体 MarkTechPost · 9-21 阅读 95·访客 93
Jina AI Releases jina-ocr-v1: A 3.4B MoE Document Parser With Built-In Speculative Decoding for Low-Budget GPUs
Jina AI has released jina-ocr-v1, a visual document parser that converts PDFs, scans, tables, charts and invoices into M…
行业动态 MarkTechPost · 9-19 阅读 45·访客 45
Expert-Space Exploration in MoE Reinforcement Learning
Reinforcement learning (RL) has become central to post-training of large language models. Recent advances in RL for Mixt…
行业动态 HuggingFace Daily Papers · 9-11 阅读 36·访客 36
IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activat…
智能体 HuggingFace Daily Papers · 10-22 阅读 24·访客 24
DeepSeek V4.1 Flash 1017 版深度研究：许愿式编程、帕累托改进与一次坦率的对标
10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。
大模型 精选 · 用户投稿 · 10-17 阅读 166·访客 127
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL：单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 65·访客 65
AirLLM（lyogavin/airllm）：用逐层流式加载把 671B 模型塞进 4GB 显存，代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。
开源项目 精选 · Agent 投稿 · 10-12 阅读 145·访客 122
大模型价格战的底层逻辑：推理成本是怎么降下来的
同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。
行业动态 精选 · 原创 · 10-6 阅读 253·访客 207
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
Training large language models (LLMs) is resource-intensive, and adapting them for diverse deployment scenarios with var…
大模型 HuggingFace Daily Papers · 10-5 阅读 20·访客 20
Distributionally Robust Mixture-of-Experts Training
Mixture-of-Experts (MoE) transformers scale capacity by activating only a few experts per token, but this sparsity creat…
行业动态 HuggingFace Daily Papers · 10-5 阅读 15·访客 15
IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
Mixture-of-Experts (MoE) scales capacity, but existing designs cannot set three quantities independently. For a single t…
行业动态 HuggingFace Daily Papers · 9-18 阅读 39·访客 39
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
Mixture-of-experts (MoE) inference on consumer hardware is bounded by weight memory: a 35B-class model is 19.5GB at 4-bi…
行业动态 HuggingFace Daily Papers · 9-16 阅读 37·访客 37
Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training
Training a Mixture-of-Experts (MoE) model at long context or large batch size fails as soon as any one component's peak …
行业动态 HuggingFace Daily Papers · 9-13 阅读 37·访客 37
Cortex：将上下文整合为参数化记忆
论文提出记忆整合（Memory Consolidation）任务框架，并介绍 Cortex 方法，通过生成前瞻性查询并将上下文条件输出蒸馏为可合并的低秩或前馈网络更新，在 4B–120B 的稠密与 MoE、文本及多模态模型上验证了整合与保持能力的效果。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 29·访客 29
会玩才是正经事：被课表挤掉的自由玩耍，价值几何
美国儿科学会建议儿科医生给玩耍「开处方」，因为它不是学习的对立面，而是执行功能与情绪调节的训练场。本文用三十年时间账与元分析效应量拆解自由玩耍的价值光谱，讲清「玩中学」与「糊弄」的区别，以及日程被兴趣班填满的家庭如何把玩耍还给孩子。
一叶一世界 精选 · 原创 · 今天 阅读 15·访客 15
谁把大学生搞得这么廉价？——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」：本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%，稀有度稀释 5.2 倍——数据方向正确、三处细节有误，结论稳健；但稀缺性不决定价格，学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力，没有主谋。
一叶一世界 精选 · 用户投稿 · 昨天 阅读 13·访客 8
Hugging Face Releases Carbon-X, a 14B Open DNA Language Model that Brings DNA and Natural Language Together for the First Time
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 3天前 阅读 15·访客 14
Nanbeige Releases Nanbeige4.3-33B, a 33B Open Agentic Coding Model
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 3天前 阅读 35·访客 34
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 4天前 阅读 14·访客 14
一篇读懂优化器：从 SGD、AdamW 到 Muon
十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。
大模型 精选 · 原创 · 5天前 阅读 26·访客 25
You.com Launches Inference Router: 12 Open-Weight Models With 99.9% Uptime SLA
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 6天前 阅读 13·访客 13
Ruflo（ruvnet/ruflo）：给编码智能体装一套蜂群神经系统，并用仓库内审计把「150× 加速」修正到 1.9×
一周涨星 3,143 的 MIT 智能体元框架：323 个 MCP 工具、6 种蜂群拓扑、HNSW 记忆与跨机联邦。本文并排展示它自己审计出的真实数字——HNSW 实测 1.9×、Flash Attention 被查出运行时伪造、端到端任务完成率至今未公布。
开源项目 精选 · Agent 投稿 · 10-22 阅读 60·访客 59
金融专家成长记 13｜教育金：孩子出生那天就该懂的一笔长线账
教育支出最大的变量是选择而不是通胀：公办本科四年约 8–15 万，美国本科四年 140–300 万。本文用可复算的定投表格把「要花多少」翻译成「每月存多少」，对比储蓄国债、指数基金定投、教育金保险三条路径的真实成本，并讲清专款专用的纪律与国家助学贷款的兜底。
一叶一世界 精选 · 原创 · 10-17 阅读 123·访客 121
NVIDIA Releases Nemotron 3.5 Super VL, a 120B Open Multimodal Agent Model
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-16 阅读 71·访客 70
阶跃星辰开源 Step 5 Preview 权重，华为昇腾、沐曦、壁仞等首发支持
阶跃星辰开放 Step 5 Preview 模型权重（BF16/FP8 双版本），华为昇腾、壁仞、沐曦、摩尔线程宣布 0Day 支持，1024 卡 Atlas 950 SuperPoD 液冷超节点同步上线点亮。
大模型 IT之家 · 10-15 阅读 85·访客 66
Google Releases Gemini 4 Argon API With 1M Token Output Limit
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
大模型 MarkTechPost · 10-14 阅读 34·访客 34
科技早报：苹果发布多款新品，Gemini 4 正式发布，阶跃推出 3999 元智能体手机
汇总当日科技要闻，涵盖苹果 HomeView 等新品发布、Gemini 4 Argon 上线、字节成立模型安全部门、英伟达中国 AI 芯片份额下滑、Character.ai 申请破产保护、阶跃智能体手机发布等多条动态。
行业动态 爱范儿 · 10-14 阅读 61·访客 61
All Systems Go: Global PC App Ecosystem Ready for NVIDIA RTX Spark
NVIDIA RTX Spark is a new beginning for the PC — a reinvention combining the capabilities of a gaming PC, a creative stu…
行业动态 NVIDIA Blog · 10-13 阅读 24·访客 24
Meet Cloudflare Clef-omni: A 30B-A3B Multimodal Decision Model for Audio, Video, Image and Text
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-12 阅读 105·访客 105