搜索:MLOps

共命中 3 条(服务端检索)
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 899·访客 895
模型分发的工程:权重下载、镜像化与 P2P 的带宽战争
几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题:下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案(直连下载、镜像仓库、P2P 分发与本地缓存)、冷启动优化的衔接、以及分发管线的工程纪律。
大模型 精选 · 原创 · 11-4 阅读 57·访客 57
Nebius Opens 2026 Physical AI Awards: Five $150K Compute Credit Prizes
Once a physical AI product is in the field, the compute problem changes shape. Fleet data starts arriving faster than a …
行业动态 MarkTechPost · 9-30 阅读 64·访客 63