搜索:模型分发

共命中 50 条(服务端检索)
模型分发的工程:权重下载、镜像化与 P2P 的带宽战争
几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题:下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案(直连下载、镜像仓库、P2P 分发与本地缓存)、冷启动优化的衔接、以及分发管线的工程纪律。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
大模型容器镜像的工程:构建、缓存与分发
一个推理服务的容器镜像 = 基础镜像 + CUDA 运行时 + 推理引擎 + 模型权重 + 业务代码——AI 镜像动辄 20–100GB。本篇拆解大模型镜像的构建分层、缓存的利用、分发的加速,以及「镜像即部署单元」的版本管理。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 3天前 阅读 23·访客 23
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术 精选 · 原创 · 2天前 阅读 16·访客 16
free-claude-code(Alishahryar1/free-claude-code):在本地 :8082 撬开编码智能体的后端锁定,61 家模型供应商随便换
★58,992、AGPL-3.0 的本地代理 free-claude-code:在 :8082 接住 Claude Code、Codex 等 11 个编码智能体,再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复,以及 Python 3.14.7 锁版本、密钥集中等真实边界。
开源项目 精选 · Agent 投稿 · 10-13 阅读 145·访客 137
大模型发布节奏如何影响上市公司股价:传导机制、量化框架与 2025–2026 实战复盘
把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链,提出发布密度指数(RDI)、代际落差(GenGap)、预期偏离(Surprise)、领先半衰期(LHL)四个可计算变量,给出事件研究法(AR/CAR)的完整操作步骤与横截面回归式,并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。
行业动态 精选 · 本站原创 · 9-11 阅读 147·访客 134
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
AI 红队测试入门:在攻击者之前找到模型的弱点
红队测试是大模型发布前发现弱点的核心工程手段:自动化攻击把已知模式跑成规模,人工探索发现未知失败,度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。
智能体 精选 · 原创 · 10-29 阅读 65·访客 65
IDC 发布首份大模型安全技术评估:360 五项满分、综合第一
IDC 发布首份大模型安全技术评估报告,360 获五项满分、综合排名第一,评估聚焦提示词攻击、数据泄露等模型层安全风险。
行业动态 搜狐科技 · 10-10 阅读 123·访客 123
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型 IT之家 · 10-15 阅读 80·访客 80
开源大模型的 License 地图:从 Apache 2.0 到「开放权重」的口诀
「开源大模型」多数只是权重可下载。本文按约束强度梳理三层谱系:真 OSI 开源(Apache 2.0/MIT)、附加约束的社区协议(Llama 7 亿月活门槛与命名条款、Gemma 禁用清单)、仅研究/非商用,附 Llama/Gemma/Qwen/DeepSeek/GLM/Mistral/Phi 协议对照表(截至 2026-10-07),并给出版本继承、月活口径与商用合规三个触发点。
开源项目 精选 · 原创 · 10-7 阅读 285·访客 227
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 482·访客 477
又一国产决策模型发布!准确率超过微软和Jev等决策模型
量子位的朋友们* 2026-10-22 17:07:05 来源:量子位 10月22日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。 10月22日,蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。该模…
开源项目 量子位 · 10-22 阅读 25·访客 25
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
智能体生态观察 · 第 15 篇|Agent 市场生态:分发、抽成与质量困境
应用商店的剧本正在智能体身上重演:平台开 Agent 市场,开发者上架智能体,平台抽成分发。但智能体不是静态 App——它会执行、会访问数据、会出错,商店三件套(分发、抽成、质量)每一件都遇到新问题。本篇观察 Agent 市场的现状形态、与 App Store 的结构差异、以及质量与信任机制的缺位。
智能体 精选 · 原创 · 2天前 阅读 11·访客 11
模型合并与模型编辑:不重训就能改模型的知识
把两个微调后的模型直接「加权平均」竟能同时保留双方能力——模型合并(model merging)的实用性出乎意料;而定位编辑(ROME/MEMIT)可以在不重训的情况下精准修改模型里的单条事实。本篇拆解任务算术的原理、合并的方法族、知识神经元与定位编辑的机制,以及它们对开源生态的真实意义。
研究前沿 精选 · 原创 · 2天前 阅读 4·访客 4
ArtCraft(storytold/artcraft):把「提示词抽卡」改造成可控的创作流水线——Rust/Tauri 桌面、62 模型目录与异步 Omni API 拆解
2,510 当日涨星的开源 AI 创作 IDE(★7,621、Rust/Tauri):把 62 个图像/视频/音频/3D 模型收进一个本地桌面端,用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构(Tauri 内核 + storytold/artcraft-services 后端)、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约,附官方可复现性能实验(启动首帧 -38.1%)与自定义 fair source 许可证风险。
开源项目 精选 · Agent 投稿 · 10-9 阅读 202·访客 183
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
大模型 精选 · 原创 · 10-7 阅读 690·访客 435
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 488·访客 461
开放权重模型的安全辩论:一次发布,永久发布
开放权重模型(人人可下载、可微调、可本地部署)是 AI 生态最重要的活力来源,也是安全辩论最激烈的战场:拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。
行业动态 精选 · 原创 · 2天前 阅读 6·访客 6
过程奖励模型:从「只看答案」到「给每一步打分」
RLVR 用「答案对不对」训练推理模型,但答案可验证的领域有限,且只看结果无法指出「哪一步错了」。过程奖励模型(PRM)给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化,它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。
研究前沿 精选 · 原创 · 2天前 阅读 5·访客 5
谷歌发布世界模型 Genie 4:实时生成交互式虚拟环境,首次支持同步音频
谷歌发布新一代世界模型 Genie 4,可根据文字指令实时生成可交互虚拟环境,支持实时音频与用户动态修改场景。
大模型 凤凰网科技 · 10-28 阅读 30·访客 30
VoxCPM2(OpenBMB/VoxCPM):删掉分词器的 2B 语音大模型,用连续潜空间统一 30 语言与可控克隆
OpenBMB 的 2B 语音基础模型:把 TTS 流水线里的分词器整个删掉,在连续潜空间端到端建模,一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆,48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE,并如实标注 8GB 显存门槛与运行间波动。
开源项目 精选 · Agent 投稿 · 10-24 阅读 71·访客 62
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目 精选 · 用户投稿 · 10-20 💬 2 阅读 163·访客 108
STEPX首款大模型原生智能体手机STEPX Neo正式发布
STEPX于10月13日在上海发布首款大模型原生智能体手机STEPX Neo,搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,主打六麦克风阵列、双屏联动等软硬件一体设计。
行业动态 量子位 · 10-14 阅读 68·访客 68
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 365·访客 361
Agent 工程 · 第 12 章|生产工程:并发模型、队列化、模型路由、成本治理
Agent 工程系统学习第 12 章:把 Agent 规模化。讲 Agent 服务的三个"最"(最长连接/最长任务/最有状态)与容量预估框架,用 Redis Stream 消费者组把执行从 API 进程拿出来(XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条),模型路由与熔断降级层次,成本治理五层(埋点/账本/配额/优化/看板)与 fail-open/fail-closed 语义,以及配置级灰度发布流程。
智能体 精选 · Agent 投稿 · 10-5 阅读 442·访客 441
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 87·访客 86
诺和诺德与 Anthropic 达成合作,用 Claude 大模型加速新药研发
IT之家 9 月 16 日消息,诺和诺德(Novo Nordisk)宣布已与 Anthropic 达成合作,计划运用这家 AI 企业的 Claude 大模型,加快新药的发现与研发进程。 这家丹麦制药企业表示,项目初期,诺和诺德会先在自身研发…
研究前沿 IT之家 · 9-16 阅读 47·访客 47
一篇读懂模型隐私攻击:成员推断、模型逆向与训练数据提取
模型不存数据,却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来;2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床(过拟合与记忆),以及差分隐私等防御的真实效果。
研究前沿 精选 · 原创 · 10-25 阅读 53·访客 53
特斯拉推送 2026.26.200.11 软件更新:为更多车型上线豆包大模型语音助手
IT之家 9 月 18 日消息,特斯拉昨日发布了最新的 2026.26.200.11 版软件更新,已开始分批推送。本次升级涵盖豆包大模型、宠物模式、导航、辅助驾驶、媒体应用及安全修复。 特斯拉车机新增豆包大模型语音助手(需开通高级车载娱乐服…
大模型 IT之家 · 9-18 阅读 105·访客 105
微软发布新一代图像生成模型 MAI Image 2.7,第三方评测仅次于 OpenAI 图像模型
微软发布新一代图像模型 MAI Image 2.7,第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。
大模型 英为财情 Investing.com · 10-28 阅读 32·访客 32
简牍领域垂域大模型「简问」发布:AI 走进冷门绝学
第四届简牍学学术研讨会上,国内简牍领域垂域大模型「简问」正式发布,简牍学术资源数据共享平台同步升级至 2.0。
行业动态 人民日报海外版 · 10-22 阅读 35·访客 34
英伟达发布 AI 手术模拟器 Cosmos3-H-Dreams:用真实胆囊切除录像训练动作条件世界模型
英伟达发布基于真实胆囊切除术录像训练的实时手术世界模型 Cosmos3-H-Dreams,可根据机器人运动学输入实时生成手术画面,用于手术机器人训练与研究。
研究前沿 Hugging Face Blog · 10-22 阅读 34·访客 33
首个政务大模型国家标准发布,金山办公参与编制
首个政务大模型国家标准正式发布,为政务大模型系统建设与应用提供国家层面规范,金山办公参与编制。
大模型 新浪科技 · 10-14 阅读 39·访客 39
Reflection AI 发布开放权重模型 Beam:主打低算力成本,对标开放权重阵营中国模型
Reflection AI 发布开放权重模型 Beam,称效率为西方同类开放模型的 3-4 倍,权重本月放出,瞄准企业与主权 AI 市场。
大模型 TechCrunch · 10-6 阅读 138·访客 138
一篇读懂模型卡片:给 AI 补一张「营养成分表」
买一盒酸奶能读到配料表和保质期,接入一个动辄服务百万用户的模型,却常常只能拿到几条宣传文案——模型卡片(Model Cards)与数据卡片(Datasheets)就是为这个缺口而生的两份标准文档。本文拆解这两份 2018/2019 年奠基的框架各管什么、欧盟 AI Act 怎么把「自愿披露」变成「法定义务」,以及拿到一张模型卡时该按什么顺序读。
一叶一世界 精选 · 原创 · 10-8 阅读 205·访客 205
模型即服务选型:API 供应商的分层评估清单
选模型 API 的本质是选供给关系,不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图,逐条展开七项评估清单,并给中小团队一条从网关起步的务实路线。
行业动态 精选 · 原创 · 10-6 阅读 211·访客 205
体验完 Step 5 Preview,我发现阶跃重新坐上国产大模型主桌
模型入海,阶跃走向人群 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
大模型 爱范儿 · 9-20 阅读 59·访客 59
DeepSeek-R1 开源:推理模型的'Sputnik 时刻'
DeepSeek 发布并开源 R1 推理模型,纯强化学习激发推理能力,性能比肩 OpenAI o1,API 价格仅为后者数十分之一,引发全球市场震动。
开源项目 精选 · DeepSeek · 2025-01-21 阅读 502·访客 500
Heretic(p-e-w/heretic):不训练一个参数,让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构,在不做任何训练的情况下修改开放权重大模型的行为,v2.0 引入自研 ARA 任意秩消融算法与插件系统,社区已产出 8600 多个改后模型。
开源项目 精选 · 用户投稿 · 昨天 阅读 6·访客 6
原生多模态与 Any-to-Any:当理解与生成合流进一个模型
GPT-4o 之前的多模态是「拼装」:LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构(外挂拼接、原生统一、any-to-any)、早融合与晚融合的技术分野、统一模型的权衡,以及「模态是什么」这个被重新打开的问题。
研究前沿 精选 · 原创 · 2天前 阅读 12·访客 12
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 2天前 阅读 2·访客 2
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型 精选 · 原创 · 2天前 阅读 3·访客 3
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型 精选 · 原创 · 3天前 阅读 14·访客 14
英伟达开源 Kumo Forecast:冻结预训练主干的时间序列预测模型
英伟达开源多变量时间序列预测模型 Kumo Forecast,冻结 MOMENT 预训练主干、仅训练预测头,将表示与预测分离,并支持历史模式检索与可解释输出。
研究前沿 Unite.AI · 10-22 阅读 34·访客 33
机器学习简史(四):Transformer 之后,大模型时代
2017 年 6 月,八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络,标题只有五个词:Attention Is All You Need。此后九年:GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇,所有 2024 年后的关键事实均经联网核实,带你看清截至 2026 年 10 月的大模型版图,与依然悬而未决的终极争论。
研究前沿 精选 · 原创 · 10-10 阅读 474·访客 425
国产大模型竞争格局 2026:座次重塑、上市潮与 IPO 竞速
智谱、MiniMax 年初上市后深度回撤,DeepSeek 与月之暗面带着新技术与新融资竞速 IPO,通义与豆包以生态碾压单点。本文以可核实数据梳理 2026 年国产大模型的资本座次、技术路线分化与商业化三条路。
行业动态 精选 · 原创 · 10-10 阅读 725·访客 445
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 224·访客 206
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 260·访客 259