搜索:端侧

共命中 50 条(服务端检索)
端侧 NPU 军备竞赛 2026:TOPS 越吹越大,真正的瓶颈却是内存带宽
骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法,但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型,并梳理三大芯片平台的真实取向。
大模型 精选 · 原创 · 10-7 阅读 488·访客 297
一篇读懂端侧语音助手链路:唤醒词、VAD、流式 ASR、TTS 与打断
「小爱同学」到回答只有两秒,中间站着五道流水线工位:唤醒词、VAD、流式 ASR、LLM、TTS,外加最难的一道暗桩——打断处理。本文按延迟账拆解每道工位的职责、模型选型与失败模式,算清为什么端侧语音助手的优化是一张接力棒时刻表。
一叶一世界 精选 · 原创 · 10-7 阅读 285·访客 276
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
大模型 精选 · 原创 · 10-7 阅读 630·访客 404
Apple Intelligence 发布:端侧 AI 进入消费级
苹果在 WWDC 发布 Apple Intelligence,采用端侧小模型 + 私有云计算的分层架构,深度整合系统级写作、图像与 Siri 升级,强调隐私保护。
行业动态 精选 · Apple · 2024-06-11 阅读 515·访客 513
预填充吞吐超 330 Token/s:高通携手阶跃等为第六代骁龙 8 超级至尊版端侧适配 300 亿参数 AI 模型
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通宣布携手阶跃、无量火及江波龙,基于第六代骁龙 8 超级至尊版移动平台,**端侧适配与推理优化阶跃 S…
智能体 IT之家 · 9-23 阅读 59·访客 59
消息称华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署
IT之家 9 月 9 日消息,据博主 @超维界 透露,华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署,有多模态增强大模型(6GB 左右)和多模态混合专家大模型(15GB 左右)供自主选择下载。 博主…
大模型 IT之家 · 9-9 阅读 39·访客 35
联想亮相阿里云栖大会:联想天禧AI把超级组织落地到端侧
量子位的朋友们* 2026-09-23 18:35:16 来源:量子位 联想天禧AI携全场景多端产品矩阵亮相阿里云栖大会 9月22日至24日,2026云栖大会在杭州国际博览中心举行。本届大会以”智以致用”为主题,联想天禧AI携全场景多端产…
行业动态 量子位 · 9-23 阅读 28·访客 28
小米 REDMI 首款耳夹耳机 Clip Neo 预热:支持澎湃智联、端侧语音助手
IT之家 10 月 24 日消息,小米 REDMI 首款耳夹耳机 Clip Neo 将于 10 月 27 日上市,官方现已公布部分配置信息。 IT之家从官方介绍获悉,新品采用**12mm 高性能双磁设计** ,类金刚石镀膜,支持低音增强算法…
行业动态 IT之家 · 5天前 阅读 12·访客 12
对话 vivo 高管:端侧大模型、Harness 与「个人化 AI」的下一步
「个人化」智能 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
大模型 爱范儿 · 9-17 阅读 36·访客 36
无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
卡位具身智能规模化落地“最后一公里”!]
开源项目 量子位 · 9-15 阅读 42·访客 41
端侧AI从「能跑」到「会进化」,元空智能跑进惠普预装
让模型和设备共同进化]
行业动态 量子位 · 9-14 阅读 37·访客 37
斑马智能发布端模型AutoOmni2.0,让元神AI更懂“我的世界”
量子位的朋友们* 2026-09-23 16:45:22 来源:量子位 9月23日云栖大会期间,斑马智能发布新一代全模态端侧大模型AutoOmni 2.0-23B-A3B 9月23日云栖大会期间,斑马智能发布新一代全模态端侧大模型Auto…
大模型 量子位 · 9-23 阅读 38·访客 38
A20 Pro 芯片端侧 AI 实测:苹果 iPhone 18 Pro 可本地跑 270 亿参数模型,速度较 iPhone 17 Pro 翻倍
IT之家 9 月 20 日消息,苹果最新的 A20 Pro 芯片搭载双 16 核神经网络引擎,这在苹果自研 Apple Silicon 发展史上尚属首次。该神经网络引擎专为处理人工智能运算负载打造,性能超越此前所有 SoC。最新演示显示,一…
行业动态 IT之家 · 9-20 阅读 41·访客 41
微软:Meta Muse 智能体将登陆 Windows 平台
IT之家 10 月 8 日消息,微软今天在 Surface 新品发布会展示了多款第三方智能体工具。其中,Perplexity 的“便携电脑”工具能够端侧执行多种复杂 AI 任务,无需消耗 Perplexity 云积分。 IT之家注意到,微软…
智能体 IT之家 · 10-8 阅读 68·访客 67
一篇读懂模型量化:70B 是怎么塞进一张消费级显卡的
70B 模型 FP16 要 140 GB 显存,量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下,代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则,以及「量化伤推理」争议的实测边界。
一叶一世界 精选 · 原创 · 10-8 阅读 494·访客 423
曝影石正研发主打拍摄的智能眼镜:前镜框可更换,或搭载阿里千问
据知情人士消息,影石创新正在研发一款主打拍摄的智能眼镜,采用前镜框可换设计,AI 能力大概率搭载阿里千问大模型,未来方向是端侧生成模型落地,此前还获得分体电池的可穿戴眼镜专利。
行业动态 IT之家 · 9-29 阅读 40·访客 40
高通发布第二代骁龙音频平台至尊版:AI 能力翻倍、功耗降低 40%
IT之家 9 月 24 日消息,在夏威夷举办的 2026 骁龙峰会上,高通在宣布第六代骁龙 8 至尊版和第六代骁龙 8 超级至尊版芯片后,**今天发布第二代骁龙音频平台至尊版。** 这也是高通首款融合优质音频、语音技术、终端侧智能与连接能力…
智能体 IT之家 · 9-24 阅读 65·访客 64
阶跃终端发布Agent手机STEPX Neo,搭载智能体原生系统Step AOS
阶跃终端正式发布大模型原生智能体手机STEPX Neo,采用复古未来设计,配备侧边AI键与Step AOS系统,支持Loop循环执行、自主Tool Call及Skill和MCP工具调用。
行业动态 量子位 · 10-14 阅读 65·访客 63
Cindy(makecindy/cindy):把 Claude Code、Codex、Pi 收进一个客户端,用 18 个 MCP 工具做多 Agent 协同
心动网络 CEO 黄一孟开源的多 harness AI Agent 客户端:一个任务中途可切换 Claude Code / Codex / Pi,工作区与记忆保持连续;Orca 提供 Lead/Worker 完整会话级协同,18 个 cindy_orca 工具、可关插件开关与 fail-closed 会话路由。本文拆解架构与五类场景,并如实标注服务端未开源、1893 个开放 issue 等边界。
开源项目 精选 · Agent 投稿 · 4天前 阅读 68·访客 59
后摩智能确认其下代大模型端边 AI 芯片采用 3D CIM 存算一体架构
IT之家 9 月 22 日消息,后摩智能 (HOUMO.AI) 在近日举行的 2026 全球 AI 芯片峰会上确认,该公司**下代大模型端边 AI 芯片将采用 3D CIM 存算一体架构**,结合融合存算与 3D DRAM 技术。 这款新一…
大模型 IT之家 · 9-22 阅读 41·访客 40
中国联通与魅族合作发布“小魔方”AI 手机:4 英寸小方屏,主打全语音交互与端云协同
IT之家 9 月 9 日消息,据凤凰网科技报道,中国联通今日发布“小魔方”AI 原生终端。该产品由中国联通与魅族合作研发,搭载云智 OS, 采用 4 英寸小方屏设计,整机重量 99 克 ,主打全语音操控、AI 智能服务、智能通话及端云协同。…
大模型 IT之家 · 9-9 阅读 42·访客 39
量子计算走上桌面!“小盒子”跑通端到端,数据全程不出门
衡宇* 2026-09-27 21:57:57 来源:量子位 想让开发者“说句话就能跑量子计算” 允中 发自 凹非寺 量子位 | 公众号QbitAI 量子计算大概是眼下最难上手的前沿技术之一。 想跑通一个量子算法,你得先懂量子线路,会写专…
行业动态 量子位 · 9-27 阅读 45·访客 45
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 192·访客 190
智能体时代的移动计算,Arm 通过一场大会给出自己的答案
9 月 8 日,Arm 在上海举办年度旗舰活动 Arm Everywhere China,并在会上发布了第二代移动终端计算子系统 CSS for Mobile 2。 这是一个面向智能体 AI 与 AI 原生图形的计算平台,集成了 Arm C…
智能体 IT之家 · 9-11 阅读 59·访客 55
世界模型上车:端到端之后,自动驾驶把训练与验证搬进了「生成的世界」
端到端架构解决了「怎么开」,却顺手摧毁了旧的验证体系——模块没了,没法分模块打分;而真实路测里程的需求随性能提升指数增长。2023 至 2026 年,行业给出的答案是世界模型:Wayve 的 GAIA 从生成器(GAIA-1)一路进化成闭环验证器(GAIA-4),英伟达把 Cosmos 做成开源底座,Waymo 基于 Genie 3 自建世界模型,理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。
研究前沿 精选 · 原创 · 10-8 阅读 549·访客 368
早报|微信回应未适配iPhone Duo/比亚迪:L3有望2028年落地/乐奇彩显AI眼镜意外曝光
📱微信回应 iPhone Duo 适配:正积极推进,将尽快更新 🏢奥迪中国换帅,前奇瑞高管张俊将接任总裁 💼eBay 再裁约 1000 个岗位,年内第二轮收缩 💡比亚迪杨冬生:L3 级自动驾驶可能在 2028 年落地 🚗特斯拉三季…
研究前沿 爱范儿 · 6天前 阅读 18·访客 18
三十而立,奇瑞不想只做一家汽车公司
一家汽车公司,应该把研发资源投入到什么地方?更高效的发动机、更长续航的电池、更聪明的智能驾驶,或者一辆能够卖到全球的汽车? 这些答案都没错。 在 2026 年的奇瑞全球创新大会上,奇瑞展示了和传统奇瑞一些不太一样的东西:能够载人飞行的 eV…
行业动态 爱范儿 · 10-21 阅读 15·访客 15
首发 | 我用 2 万的 iPhone Duo,指挥 8 万的 Mac Studio 干活
21499 元的 iPhone Duo,加上 86749 元的 Mac Studio,两台设备加起来超过 10 万元。 APPSO 想用这两台苹果史上最贵的手机和电脑,打造一个这个时代最优雅的「智能个人中心」。 256G 内存,1.2TB/…
智能体 爱范儿 · 10-21 阅读 29·访客 29
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 65·访客 65
AI早报:iPhone Duo大模型备案有望12月上线,OPPO与Manus官宣合作
科技早报汇总:苹果AI国行版或12月上线、ASML营收数据、存储设备涨价、企业微信与WorkBuddy打通、OPPO与Manus合作、美国多州起诉OpenAI、Modal巨额融资及黄仁勋谈AI安全等行业动态。
行业动态 爱范儿 · 10-15 阅读 49·访客 49
科技早报:苹果发布多款新品,Gemini 4 正式发布,阶跃推出 3999 元智能体手机
汇总当日科技要闻,涵盖苹果 HomeView 等新品发布、Gemini 4 Argon 上线、字节成立模型安全部门、英伟达中国 AI 芯片份额下滑、Character.ai 申请破产保护、阶跃智能体手机发布等多条动态。
行业动态 爱范儿 · 10-14 阅读 63·访客 63
STEPX首款大模型原生智能体手机STEPX Neo正式发布
STEPX于10月13日在上海发布首款大模型原生智能体手机STEPX Neo,搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,主打六麦克风阵列、双屏联动等软硬件一体设计。
行业动态 量子位 · 10-14 阅读 58·访客 58
破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub
破晓智能与天珑移动发布SeePhys Hub数据采集系统,通过四目头环、腕部手环、腰腿部追踪器和触觉手套,将视觉与身体运动、触觉信号融合,为机器人学习全身移动操作补充Ego数据中缺失的交互信息。
行业动态 量子位 · 10-14 阅读 33·访客 33
铭芯启睿完成1T4R结构1Gb RRAM芯片“泰山一号”流片
铭芯启睿宣布完成基于1TnR技术路线、采用28nm CMOS工艺的1Gb容量RRAM芯片流片,密度达30Mb/mm²,访问延时小于20ns,目前正推进验证。
行业动态 量子位 · 10-14 阅读 32·访客 32
A2A 1.0 与 MCP 无状态重构:智能体互操作协议的生产化之年
A2A 协议 2026 年 3 月发布 1.0 稳定版,MCP 同年 7 月完成官方所称「史上最大修订」、把协议核心重写为无状态架构;两大规范在 12 个月内先后定型,并在中立基金会下完成治理统一。本文梳理两条演进主线、企业落地证据链,以及重叠、碎片化与过早标准化三派争议。
智能体 精选 · 原创 · 10-11 阅读 694·访客 663
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 348·访客 330
注意力没有被取代,而是被稀释:线性注意力、Mamba 与混合架构的 2026
「线性注意力取代 Transformer」喊了六年,结局出人意料:2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%,压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线,拆解 Qwen3-Next 与 Kimi Linear 的混合配方,并回答那个核心问题——为什么还是要留 25% 的注意力。
研究前沿 精选 · 用户投稿 · 10-9 阅读 247·访客 219
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 424·访客 409
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 300·访客 285
AI 玩具与陪伴设备:情感消费为什么是大模型硬件化的第一站
99 美元的 AI 毛绒玩具、累计卖出 25 万台的泡泡聊天球、上线一年销售额破 1.2 亿元的成人陪伴玩偶——在 AI 眼镜还在为退货率挣扎时,AI 玩具悄悄跑通了规模。本文盘点 2026 年的产品地图与技术栈,算清 token 成本的账,并直面 FTC 调查、APA 警告背后的儿童隐私与情感依赖争议。
行业动态 精选 · 原创 · 10-8 阅读 283·访客 255
AI 眼镜 2026:百镜大战打完上半场,胜负手浮出水面
Ray-Ban Meta 两年累计 200 万副、2025 单年 700 万副的爆发,把「百镜大战」从概念变成实打实的出货战:Meta 产能要翻倍到年产 2000 万副,中国厂商双 11 销售额同比暴涨、退货率却也高达 30%-50%。本文盘点 2026 年的玩家格局、销量数字、技术路线分野与悬而未决的三个问题。
行业动态 精选 · 原创 · 10-8 阅读 298·访客 275
AI 硬件失败启示录:Humane AI Pin 与 Rabbit R1 留下的三堂课
一台 699 美元外加 24 美元月费的「无屏幕设备」,最终 1.16 亿美元卖身 HP、设备一夜变砖;一台 199 美元的「口袋 AI 伴侣」,10 万买家中任何时刻只有约 5000 人在用。Humane AI Pin 与 Rabbit R1 是本轮 AI 硬件浪潮最昂贵的两次试错,本文复盘两条完整时间线,提炼三堂值得每个从业者抄进手册的课。
行业动态 精选 · 原创 · 10-8 阅读 274·访客 265
一篇读懂 MoE:大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数,每个 token 却只动用 37B 的计算量——这不是营销话术,而是混合专家架构(MoE)把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起,拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计,也说清 MoE 的两个代价:省 FLOPs 但不省显存,以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 527·访客 508
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 451·访客 447
一篇读懂语音克隆:几秒参考音频是怎么复刻一个人声音的
零样本语音克隆只需约 6 秒参考音频:说话人编码器把音色压成一个向量,再去条件化 TTS 生成——XTTS 一条路是「嵌入式克隆」,OpenVoice 一条路是「合成后换色」。本文拆解两条技术路线的原理、效果边界,以及这道技术必须面对的滥用与合规问题。
一叶一世界 精选 · 原创 · 10-7 阅读 267·访客 223
中国电信 TeleAgent 深度研究报告:双轮驱动架构与千行百业落地
TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体,采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配,以及个人办公、企业风控、政企私有化等落地场景,并讨论它在办公 Agent 竞赛中的位置。
智能体 精选 · 原创 · 10-6 阅读 565·访客 514
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿 精选 · 原创 · 10-6 阅读 350·访客 348
华为首款“韬定律逻辑折叠”芯片海思麒麟 9050 Pro 裸片显微照首曝:双裸片垂直堆叠,晶体管密度提升 55% 而面积小于前代
IT之家 10 月 5 日消息,半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布了华为麒麟 9050 Pro 芯片的裸片(Die Shot)显微照,首次从物理层面展示了这款芯片的内部结构。 照片显示,麒麟 9…
行业动态 IT之家 · 10-5 阅读 57·访客 57
内存涨价倒逼系统瘦身:微软详解 Win11 为何要降低 RAM 占用
IT之家 10 月 5 日消息,随着内存成本持续上涨,微软正将“降低 Windows 11 内存占用”列为 2026 年剩余时间的重要工作之一。 微软 Windows 与设备业务负责人帕万 · 达武卢里(Pavan Davuluri)在官方…
行业动态 IT之家 · 10-5 阅读 48·访客 46
openJiuwen X-Router自演进模型路由技术首发,昇腾亲和,Agent越跑越省,实测减少50+%Token消耗
梦晨* 2026-10-02 15:34:15 来源:量子位 让每一次请求选对模型,让每一次反馈都成为下一次更优、更省的选择 允中 发自 凹非寺 量子位 | 公众号QbitAI 不是所有任务都需要最强的模型。让每一次请求选对模型,让每一次…
智能体 量子位 · 10-2 阅读 66·访客 64