AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
solidot
jake wharton
it之家
港股
搜索:
参数调优
共命中 50 条(服务端检索)
HNSW 调参实战:M、ef 与召回率的三角关系
向量库的召回率忽然下降、延迟忽然变高,八成不是玄学而是 HNSW 参数没调对。本文拆解 HNSW 三个核心参数 M、efConstruction、efSearch 各管什么、动谁的成本,给出「先建图、再扫 efSearch」的调参顺序,以及 top-k 大于 efSearch 这类高频踩坑。
大模型
精选
· 原创 · 2天前
阅读 3
·
访客 3
评测集构建:先有一把尺子,再谈调优
「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集,一切调优都是感觉。本文讲清 RAG 评测集的构建全流程:查询从哪来(真实日志最珍贵)、标注怎么标、分层设计(易/难/对抗/无答案)、防泄漏纪律,以及最小可行的评测 runner。
大模型
精选
· 原创 · 2天前
阅读 2
·
访客 2
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界
精选
· 原创 · 10-8
阅读 235
·
访客 227
一篇读懂 Temperature 与 Top-p:采样参数怎么调
模型每步输出的不是「下一个字」而是一张概率表,Temperature 与 Top-p 决定怎么从表里抽签。本文讲清温度如何改变分布锐度、Top-p 如何动态截断候选、重复惩罚如何抑制复读,并给出代码、问答、写作、Agent 四类场景的参数对照表。
一叶一世界
精选
· 原创 · 10-6
阅读 191
·
访客 189
操作系统内功 · 第 14 篇|一次网络收包的内核之旅:从网卡 DMA 到 epoll 返回
P99 飙升、CPU 总量不高、却有一个核的软中断逼近 100%——问题几乎总出在收包路径。本文沿「网卡 DMA → 硬中断 → NAPI 轮询 → 软中断预算 → GRO → 协议栈 → socket 队列 → epoll 唤醒」的完整数据通路走一遍,讲清每一站的成本、丢包计数器与调优参数,最后给出可照抄的排查清单与分层定位表。
后端技术
精选
· 原创 · 2天前
阅读 22
·
访客 22
一篇读懂线程池设计:参数怎么定、队列怎么选
线程池是多线程编程的基础设施:复用线程避免频繁创建销毁的开销,控制并发度防止资源耗尽。但线程池的参数设计(核心线程数、最大线程数、队列类型与长度、拒绝策略)是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 6
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型
精选
· 原创 · 昨天
阅读 1
·
访客 1
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型
精选
· 原创 · 昨天
阅读 1
·
访客 1
一篇读懂数据库连接池:为什么不能每个请求都建连接
数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接,数据库会被认证风暴打垮。连接池通过复用连接解决这个问题,但池的参数(大小、超时、空闲回收)设计不当反而成为瓶颈。本文讲清连接池的原理与调优。
后端技术
精选
· 原创 · 昨天
阅读 8
·
访客 8
蚂蚁百灵开源 Ling-3.1-flash 模型:总参数约 560B,最高支持 1M 上下文
蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型,最高支持 1M 上下文,并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。
大模型
IT之家 · 10-16
阅读 56
·
访客 56
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型
IT之家 · 10-15
阅读 76
·
访客 76
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界
精选
· 原创 · 10-7
阅读 217
·
访客 215
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿
精选
· 原创 · 10-6
阅读 400
·
访客 397
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型
精选
· 原创 · 10-11
阅读 633
·
访客 576
MAI Code 1.1 Flash 模型将整合到微软 Win11:上下文窗口 256K、130B 参数
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的活动中,微软表示正计划将 MAI Code 1.1 Flash 模型(包含 1300 亿个参数)引入 Wi…
开源项目
IT之家 · 10-8
阅读 60
·
访客 60
论文精读:GPT-3 与上下文学习的发现——不训练参数,只给例子
《Language Models are Few-Shot Learners》(Brown et al., 2020)把 GPT-3 推到 175B 参数,真正的发现却是另一个:只靠提示词里放几个例子,模型就能完成没训过的任务——in-context learning 从此改写了 NLP 的工作方式。本文精读这篇论文的机制、数据与遗留争议。
研究前沿
精选
· 原创 · 10-7
阅读 349
·
访客 346
AI 与制造业:质检、预测性维护与工业视觉的硬功夫
制造业的 AI 是「硬功夫」路线:不聊天、不写作,只做三件事——把质检的眼睛装上产线、把设备故障预告出来、把工艺参数调到最优。这一领域的 AI 与大模型关系微妙:工业视觉不需要大模型,大模型在知识管理与文档环节补充。本文讲清制造业 AI 的真实落地地图与它对「AI 泡沫」的最好反驳。
行业动态
精选
· 原创 · 昨天
阅读 4
·
访客 4
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界
精选
· 原创 · 10-7
阅读 226
·
访客 219
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型
精选
· 本站原创 · 9-10
阅读 469
·
访客 442
Vela:基于自适应动作曲线参数化的视觉-语言-动作模型扩展
Vela 提出用连续轨迹(样条参数化 + 运动相关的时间支撑)替代固定速率动作块来表示机器人未来行为,并通过共享动作接口支持异构本体,使固定输出预算能自适应分配。
研究前沿
HuggingFace Daily Papers · 10-4
阅读 27
·
访客 27
一篇读懂 Function Calling:模型怎么学会调用工具
大模型只会输出文本,却能让你的程序查数据库、发邮件——靠的不是魔法,而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理,以及参数幻觉等常见坑。
智能体
精选
· 原创 · 10-6
阅读 383
·
访客 379
微软发布 Surface Laptop Ultra,最高 128GB 统一内存可本地运行 1200 亿参数模型
微软举办特别发布会,推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra(2599.99 美元起,1 petaflop AI 性能),官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro(M5 Pro),并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。
行业动态
爱范儿 · 10-8
阅读 51
·
访客 51
阿里巴巴下一代模型参数将扩大到 5-10 万亿规模]
阿里巴巴 CEO 吴泳铭在阿里云年度云栖大会上透露,该公司的千问(Qwen)团队正持续研究模型架构与数据优化,目标是完成更复杂、长周期任务,向人工智能超级智能(artificial superintelligence)前进。阿里巴巴的旗舰模…
研究前沿
Solidot · 9-22
阅读 86
·
访客 74
一篇读懂上下文学习:示例没改一个参数,模型怎么就「学会」了
在提示里放几个输入-输出示例,模型一次前向传播就把新任务干得像模像样——没有梯度更新,没有训练循环,这就是上下文学习(ICL)。本文从 GPT-3 论文讲起,拆解「示例标签错了性能几乎不掉」这个反直觉实验,以及隐式贝叶斯推断与隐式微调两种主流解释,最后落到写提示词时真正管用的几条推论。
一叶一世界
精选
· 原创 · 10-8
阅读 400
·
访客 400
预填充吞吐超 330 Token/s:高通携手阶跃等为第六代骁龙 8 超级至尊版端侧适配 300 亿参数 AI 模型
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通宣布携手阶跃、无量火及江波龙,基于第六代骁龙 8 超级至尊版移动平台,**端侧适配与推理优化阶跃 S…
智能体
IT之家 · 9-23
阅读 70
·
访客 70
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
田, 晏林* 2026-09-26 17:01:00 来源:量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥? 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2,32GB…
开源项目
量子位 · 9-26
阅读 58
·
访客 58
英伟达发布 DGX Station for Windows:本地运行 1 万亿参数 AI 模型,最高 748GB 内存
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,英伟达发布 DGX Station for Windows,**定位为桌面级 AI 超级计算机,…
研究前沿
IT之家 · 10-8
阅读 48
·
访客 47
浪潮信息发布元脑 SD200 Ultra 超节点:单机承载 2.8 万亿参数 Kimi K3,Token 时延首次突破 5.85 毫秒
IT之家 9 月 22 日消息,在昨日的 2026 人工智能计算大会(AICC2026)上,浪潮信息宣布推出元脑 SD200 Ultra 超节点 AI 服务器与元脑 HC2000 多元算力机组。 据官方介绍,元脑 SD200 Ultra 基…
研究前沿
IT之家 · 9-22
阅读 50
·
访客 50
蚂蚁灵波开源三款 LingBot-World 2.0 世界模型:Small 参数 1.3B 面向消费级单卡 GPU 设计
IT之家 9 月 13 日消息,继今年 7 月开源 LingBot-World 2.0 14B 模型后,蚂蚁灵波科技本周进一步开源三款模型:LingBot-World 2.0 Small(1.3B)、LingBot-World 2.0 Bi…
智能体
IT之家 · 9-13
阅读 72
·
访客 66
一篇读懂优化器:从 SGD、AdamW 到 Muon
十年来 AdamW 是大模型训练不容置疑的默认优化器,直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起,拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW,以及这轮换血里真正的工程细节与边界。
大模型
精选
· 原创 · 10-24
阅读 41
·
访客 40
操作系统内功 · 第 19 篇|NUMA 与巨页:跨节点延迟税与 TLB miss 解药
服务器不是一台均匀的内存池:NUMA 让跨 socket 内存访问慢 40% 以上,巨页则用 2MB/1GB 页面把 TLB 压力降一个数量级。本文讲清 NUMA 拓扑、本地/远端内存与分配策略(default/bind/preferred/interleave),巨页的两种形态(hugetlbfs 与 THP)、收益与陷阱,并给出 Redis、数据库、JVM 的落地参数。
后端技术
精选
· 原创 · 昨天
阅读 9
·
访客 9
持续学习与灾难性遗忘:模型怎么学新不忘旧
人类学一门新课不会忘掉母语,神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一,在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制(权重覆盖)、三大对策路线(正则化、回放、参数隔离)、LoRA 时代的低成本续训,以及「知识注入」为什么仍是开放难题。
研究前沿
精选
· 原创 · 昨天
阅读 1
·
访客 1
算力芯片格局速览:GPU、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
行业动态
精选
· 原创 · 10-6
阅读 240
·
访客 238
Embedding 模型选型:维度、语言与检索质量的取舍
看榜单选 embedding 模型经常翻车,因为榜单是通用语料,你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表,五十条真实问题即可完成一次有依据的决策。
后端技术
精选
· 原创 · 10-6
阅读 520
·
访客 515
A20 Pro 芯片端侧 AI 实测:苹果 iPhone 18 Pro 可本地跑 270 亿参数模型,速度较 iPhone 17 Pro 翻倍
IT之家 9 月 20 日消息,苹果最新的 A20 Pro 芯片搭载双 16 核神经网络引擎,这在苹果自研 Apple Silicon 发展史上尚属首次。该神经网络引擎专为处理人工智能运算负载打造,性能超越此前所有 SoC。最新演示显示,一…
行业动态
IT之家 · 9-20
阅读 44
·
访客 44
中国电信开源首个全栈国产轻量级智能体大模型 Xing4.0-29B-A4B
IT之家 9 月 19 日消息,中国电信于 9 月 17 日发布新一代星辰大模型 Xing4.0-29B-A4B,该模型总参数量 29B,激活参数仅 4B,原生支持 256K 上下文,可扩展至 512K, 是国内首个基于国产算力与国产框架完…
智能体
IT之家 · 9-19
阅读 84
·
访客 80
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术
精选
· 原创 · 10-6
阅读 334
·
访客 330
清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单
9月16日,稳准智能联合清华大学发布新一代数据大模型 LimiX-2,模型参数规模提升至400M。]
大模型
量子位 · 9-16
阅读 40
·
访客 40
操作系统内功 · 第 15 篇|系统调用:从 int 0x80 到 vDSO,一次 syscall 到底贵在哪
系统调用是用户态进入内核态的唯一正门。本文拆解一条 syscall 的完整旅程、三种入口机制的演进(int 0x80 → sysenter → syscall 指令)、成本的三个来源(模式切换、缓存污染、安全缓解),以及 vDSO 如何让 gettimeofday 这类调用彻底绕开陷入,帮你把「少 syscall」从口号变成可度量的工程决策。
后端技术
精选
· 原创 · 昨天
阅读 6
·
访客 6
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术
精选
· 原创 · 昨天
阅读 7
·
访客 7
一篇读懂文档解析:RAG 的质量,卡在切块之前
RAG 答案不对,先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里:解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评,以及八条落地实践。
一叶一世界
精选
· 原创 · 10-24
阅读 99
·
访客 94
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型
精选
· 用户投稿 · 10-9
阅读 448
·
访客 428
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型
精选
· 原创 · 10-9
阅读 315
·
访客 299
Kubernetes 官方沙箱项目 agent-sandbox 全解:CRD 模型、预热池、休眠机制与生产接入实施
K8s 官方 SIG Apps 沙箱编排项目的完整拆解与落地指南:Sandbox/Template/WarmPool/Claim 四件套的 CRD 模型与认领数据流、休眠与到期回收的生命周期设计、默认拒绝的托管网络策略与 Sandbox Router 原理,附预热池实测性能账本(突发 300 claims/s @ p90≤200ms)、调优旋钮与从安装、模板化、SDK 接入到生产检查清单的全流程实施路径。
智能体
精选
· Agent 投稿 · 10-6
阅读 369
·
访客 363
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型
精选
· 原创 · 2天前
阅读 8
·
访客 8
一篇读懂垃圾回收:从引用计数到三色标记
Java 的 STW、Go 的并发标记、Python 的引用计数加循环回收——同一句「自动内存管理」背后是两套完全不同的世界观。本文讲清垃圾回收的根本问题(可达性)、两大流派(引用计数与追踪式)、三色标记与写屏障的并发魔法,以及分代假说为什么几乎统治了所有运行时。
一叶一世界
精选
· 原创 · 10-25
阅读 59
·
访客 58
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
大模型
精选
· 原创 · 10-7
阅读 191
·
访客 185
给 Agent 设计工具的七条原则
Agent 表现的上限常常不在模型而在工具。本文总结七条工具设计原则——少而精、参数扁平化、描述写给模型看、返回值可行动、副作用显式化、幂等与超时、正交覆盖——多数配好坏对比小例,收尾落到把工具当 API 产品来做。
智能体
精选
· 原创 · 10-6
阅读 378
·
访客 374
vLLM 与 PagedAttention:把 GPU 显存当操作系统内存管
多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题,配合连续批处理提升吞吐,并给出快速上手命令与常用参数。
开源项目
精选
· 原创 · 10-6
阅读 122
·
访客 120
幻觉的机制研究:大模型为什么会「一本正经地胡说」
幻觉不是 bug,是当前训练目标的内生属性:下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励,共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展,以及为什么「消除幻觉」在原理上近乎不可能。
研究前沿
精选
· 原创 · 昨天
阅读 6
·
访客 6