AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
服务体验
共命中 50 条(服务端检索)
智能体生态观察 · 第 53 篇|主动式智能体:从一问一答到订阅式持续服务
触发权从人转移到机器,是智能体产品的一次范式转移。本文梳理定时、事件、阈值与模型自主四类触发机制的误报成本,拆解主动服务的三要素,并讨论骚扰与信任的经济学边界。
智能体
精选
· 原创 · 昨天
阅读 3
·
访客 3
一文都懂微服务
服务拆分、注册发现、熔断限流的架构设计要点
后端技术
精选
· 原创博客 · 2020-05-08
阅读 456
·
访客 454
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型
精选
· 原创 · 11-4
阅读 55
·
访客 55
一篇读懂服务降级与预案:降级、隔离与兜底的工程体系
熔断器篇讲了「自动刹车」,这篇讲「预案体系」:系统过载时的降级阶梯、依赖的隔离、兜底的层次——大促与故障时,「有预案的降级」与「慌乱的宕机」是两种完全不同的体验。
后端技术
精选
· 原创 · 11-5
阅读 68
·
访客 65
推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
大模型
精选
· 原创 · 11-4
阅读 50
·
访客 50
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型
精选
· 原创 · 11-4
阅读 50
·
访客 50
流式 RAG:边检索边生成的实时体验工程
传统 RAG 的体验是「等待—出结果」:检索完才生成、生成完才展示。流式 RAG 改变了这个节奏:检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式(渐进式检索、流式生成与流式 UI)、延迟优化策略,以及「让用户在等待中看到进展」的体验设计。
一叶一世界
精选
· 原创 · 11-4
阅读 63
·
访客 63
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型
精选
· 原创 · 11-4
阅读 48
·
访客 48
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型
精选
· 原创 · 11-4
阅读 45
·
访客 45
小团队的自建 GPU 服务器:从选件到上架
在租卡与云之间,自建 GPU 服务器是小团队的第三条路;本文给出从选件、组装验机到上架接网的完整流程,算清噪音、电费与运维的隐性成本,并划出自建与托管的能力边界。
行业动态
精选
· 原创 · 11-11
阅读 51
·
访客 51
检索服务的 SLO:召回率也是服务目标
可用性 99.9% 的检索服务可能一半答案答非所问——答非所问的可用系统比宕机更伤信任。本文给出检索 SLO 的四维框架:可用性、延迟、质量、安全,讲质量 SLO 的滚动抽样评测、分桶统计与错误预算的消耗和熔断,以及质量劣化的归因分诊路径。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型
精选
· 原创 · 11-9
阅读 58
·
访客 58
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型
精选
· 原创 · 11-4
阅读 51
·
访客 50
一篇读懂服务发现:CAP 约束下的注册中心选型
微服务架构中,服务 A 要调用服务 B,首先要知道 B 在哪——服务发现(Service Discovery)就是回答这个问题的机制。注册中心的选择(Eureka/Nacos/Consul/etcd)本质上是在 CAP 约束下做取舍。本文讲清服务发现的两种模式、主流注册中心的对比、以及选型的决策框架。
后端技术
精选
· 原创 · 11-3
阅读 67
·
访客 67
一篇读懂服务网格:Istio 与 sidecar 模式的代价
微服务间的通信问题(重试、熔断、限流、加密、追踪)如果在每个服务中实现,代码重复且侵入。服务网格(Service Mesh)把这些问题下沉到基础设施层——sidecar 代理透明地处理所有网络通信,业务代码零修改。本文讲清 sidecar 模式的原理、Istio 的能力与代价。
后端技术
精选
· 原创 · 11-3
阅读 65
·
访客 65
麦当劳冰淇淋机复盘:小故障与信任审计
复盘麦当劳冰淇淋机「常年维修」的玩梗事件:从一条员工推文到第三方数据网站的实时检测,任何时刻约有一成机器不可用的统计把玩笑变成可核查的信任审计,媒体与监管关注陆续跟进。本文拆解玩梗可验证化、小故障放大机制与官方幽默的边界。
行业动态
精选
· 用户投稿 · 今天
阅读 4
·
访客 4
OpenCode(anomalyco/opencode):客户端/服务端分离的开放编码智能体,7k token 低基线跑通 75 家模型
GitHub 21.6 万星的开放编码智能体一周内经历 2.0 大版本与安全事件双重曝光。本文拆解它的常驻服务端架构、插件热重载内核、Code Mode 与上下文经济设计,并给出五类落地场景。
开源项目
精选
· 用户投稿 · 10-19
💬 1
阅读 308
·
访客 247
曹操出行与豆包联合推出 AI 打车服务,能一句话选车、设置空调温度等
IT之家 9 月 9 日消息,曹操出行今日宣布与豆包联合打造 AI 打车服务 ,首批在北京、杭州、苏州三城上线,这意味着曹操出行将出行服务能力与 AI Agent 深度融合。 AI 打车服务上线后,当用户在豆包产品端咨询路线、地点、休闲娱乐…
智能体
IT之家 · 9-9
阅读 98
·
访客 96
智能体生态观察 · 第 78 篇|政务与公共服务智能体:审批、热线与数字公务员
政务是高价值加高约束的智能体场景:责任重、容错低,需求却真实巨大。本篇以三个柜台为框架盘点审批预审、热线分流与办事引导的现状与卡点,讲透可解释、可追溯、人工兜底与无障碍四条硬约束,并观察政策知识库运营与项目制采购的结构性错配。
智能体
精选
· 原创 · 昨天
阅读 5
·
访客 5
早报|苹果第四财季营收增长12%,服务收入再创新高/《影之刃零》72小时销量突破400万套/曝三星Fold9回归屏下摄像头
📈苹果第四财季营收增长 12%,服务收入再创新高 💻曝下一代触屏 MacBook Pro 将换新模具 🤖下一代 GPT 或将近期发布,OpenAI 用 1 万个 AI 智能体协作科研 🧠OpenAI 推出电网保护计划,拟让未来园区在…
智能体
爱范儿 · 11-3
阅读 20
·
访客 20
模型服务的灾备与降级:预案的工程学
模型服务的故障域比传统服务更宽:区域故障、依赖故障与模型版本事故各有各的炸法;本文给出三层灾备架构、降级预案清单与恢复目标的管理方法,强调不演练的预案等于没有。
后端技术
精选
· 原创 · 11-11
阅读 74
·
访客 73
推理服务的多模型混部:显存与算力的共享调度
一张 GPU 同时服务多个模型的现实诉求与技术路线:多实例共享、LoRA 热加载、权重热切换、MIG 硬切分与时分复用各自的隔离与代价,干扰毛刺的成因,以及什么场景值得混部、什么场景不该省这个钱。
大模型
精选
· 原创 · 11-11
阅读 49
·
访客 49
大模型服务的计费工程:token 计量与对账
计费是大模型服务从「能跑」到「能卖」的分水岭:token 怎么数、输入输出与缓存命中怎么分别计价、用量采集到账单聚合的架构怎么搭、重试幂等与失败边界怎么定,以及多租户配额与成本可见化。
大模型
精选
· 原创 · 11-11
阅读 48
·
访客 48
AI 与餐饮酒店业:点餐、排班与服务的标准化账本
餐饮酒店是高频、低毛利、重人力的生意,AI 从点餐接口、后厨调度、客流排班与酒店收益管理四处切入;连锁化的标准化诉求决定渗透速度,客单价决定 ROI 敏感度,本文算清这笔落地的经济账。
行业动态
精选
· 原创 · 11-10
阅读 36
·
访客 36
一篇读懂 WebSocket:全双工通信与服务端推送
HTTP 的请求-响应模式无法做到服务端主动推送——客户端轮询是唯一的 workaround,但效率低下。WebSocket 在 HTTP 的基础上升级为全双工通信:一次握手,持久连接,双向实时收发。本文讲清 WebSocket 的握手过程、与 SSE/长轮询的对比、心跳保活与重连机制。
后端技术
精选
· 原创 · 11-3
阅读 60
·
访客 60
最高每秒 300 个词元:OpenAI 推出 GPT‑6 Astra Ultrafast 服务
IT之家 9 月 30 日消息,在今天召开的 2026 年 OpenAI 开发者日活动日中,官方推出 Ultrafast 全新服务层级,在 Codex 中可提供最高 8 倍词元(Token)生成速度,在 API 调用时最高可以实现 6 倍生…
大模型
IT之家 · 9-30
阅读 47
·
访客 47
Google 将“降级”欧洲搜索服务]
为遵守欧洲的数字市场法律《Digital Markets Act(DMA)》,Google 宣布将调整欧洲的搜索服务,提升 Expedia 和 Hotels.com 等竞争对手比价服务的权重,移除酒店、航空公司和餐厅搜索结果中的部分实时信息…
开源项目
Solidot · 9-10
阅读 38
·
访客 33
Mastercard 推出 Agent Pay for Machines:让 AI 智能体自主购买数字服务
Mastercard 开启 Agent Pay for Machines 早期访问,让自主 AI 智能体能够自主购买数字服务。
智能体
PYMNTS · 10-21
阅读 82
·
访客 79
腾讯元器将于 11 月 9 日停止服务,所创建智能体将不再可用
IT之家 10 月 10 日消息,腾讯元器 10 月 8 日发布《关于元器平台停止服务通知》,因业务调整,元器平台将于 2026 年 11 月 9 日停止服务。在正式停止服务前,用户仍可正常登录并使用现有智能体;停服生效后,所创建智能体将不…
智能体
IT之家 · 10-10
阅读 371
·
访客 370
微软云服务宕机持续逾 24 小时]
微软周六表示,影响各国企业和政府所用 Microsoft 365 应用的全球服务中断已经结束,这次中断持续了超过 24 小时。微软在 X 上发文说:“我们已完成解决这一事件根本问题的工作,并为其余受影响的客户和地区恢复了服务。”Teams、…
行业动态
Solidot · 6天前
阅读 6
·
访客 6
用户抱怨难以在流媒体服务上找到想看的内容]
根据尼尔森的 Gracenote 对美国、巴西、法国、德国、墨西哥和英国的 3000 名 18 岁及以上的流媒体用户进行的调查:虽然流媒体平台内容无比丰富,但用户经常找不到想要看的内容。逾 51% 的受访者表示:内容和流媒体服务的极度丰富,…
行业动态
Solidot · 11-12
阅读 6
·
访客 6
汇智智能发布Hellome:国内首个FDE直连智能体服务平台,把AI交付周期压进“周”
量子位的朋友们* 2026-09-23 17:50:26 来源:量子位 企业AI服务迎来平台化交付时代 近日,南京人工智能企业汇智智能正式发布一站式AI服务平台Hellome——国内首个实现FDE(前沿部署工程师)与企业客户直接对接的应用…
智能体
量子位 · 9-23
阅读 128
·
访客 127
微软云服务全球宕机]
微软云服务全球宕机,受影响服务包括了 Outlook、Teams 和 OneDrive 等办公工具以及 AI 工具 Copilot。微软通过其社交媒体账号表示正全力解决该问题。根据 Downdetector 的报告,截至周四 18:00 G…
行业动态
Solidot · 11-13
阅读 8
·
访客 8
ZStack 开源 GPU 管理平台 GPUWorks:40MB 管上千台 GPU 服务器
ZStack 将 GPU 管理平台 GPUWorks 以 Apache 2.0 开源:40+MB 体积、60 秒部署,可管理上千台 GPU 服务器。
开源项目
Business Insider · 11-5
阅读 32
·
访客 32
一篇读懂分布式事务:2PC、TCC 与 Saga
微服务拆分后,一个业务操作跨越多个服务、多个数据库——传统的数据库事务管不住了。2PC 强一致但阻塞、TCC 最终一致但侵入强、Saga 长事务但需要补偿——三种分布式事务方案各有战场。本文讲清它们的机制、适用场景与选型框架。
后端技术
精选
· 原创 · 11-3
阅读 79
·
访客 79
Cloudflare 公共 DNS 服务不需屏蔽盗版网站域名]
Cloudflare 的公共 DNS 解析服务 1.1.1.1 没有屏蔽盗版体育直播网站的域名,而是通过其 CDN 服务屏蔽相关网站。巴黎司法法院(Paris Judicial Court)站在了 Cloudflare 这边,驳回了法国付费…
行业动态
Solidot · 10-10
阅读 76
·
访客 76
一篇读懂 BMC:服务器的带外管理与 Redfish
服务器关机也能管的秘密在 BMC:这块独立小芯片构成带外管理平面,从 IPMI 到 Redfish 两代接口的演进,远程开关机、挂 ISO 装机、看传感器、刷固件的日常操作,以及必须遵守的安全红线。
一叶一世界
精选
· 原创 · 11-11
阅读 87
·
访客 86
DeepSeek 全面开源内部推理框架 DeepInfer:支撑 V4.1 Flash 线上服务,兼容英伟达与昇腾
DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer,支持推测解码、分布式推理等能力,兼容英伟达 GPU 与华为昇腾。
开源项目
联合早报 · 10-22
阅读 70
·
访客 69
Anthropic 弃用 Git,自研版本控制系统 Scion 服务端管理源码
因代码合并量从日均 2500 次增至超 3 万次,Anthropic 弃用 Git 改用自研的 Scion 版本控制系统,将提交、合并、变基等操作移至服务器端执行,宣称 CPU 与内存消耗仅为 Git 的两百分之一,并需配套定制代码审查、搜索与 CI 工具。
大模型
IT之家 · 10-15
阅读 49
·
访客 49
英国消费者权益机构 Citizens Advice:基本服务供应商应停止在客服工作中依赖 AI 聊天机器人
IT之家 9 月 22 日消息,英国消费者权益机构 Citizens Advice 近日呼吁,能源、银行、电话和互联网等提供基本服务的企业在客服工作中应当停止依赖 AI 机器人,保障用户“与真人沟通的权利”。该机构调查发现,超过一半需要使用…
行业动态
IT之家 · 9-22
阅读 49
·
访客 49
合作 FPS《真菌朋克》10 月 20 日结束抢先体验,同期加入索尼 PS Plus 游戏目录
IT之家 9 月 21 日消息,开发商 Pigeons at Play 宣布旗下 FPS《真菌朋克》将于 10 月 20 日结束抢先体验,正式登陆 PS5 和 PC(Steam)平台。官方还预热游戏还将在发售首日加入 PlayStation…
行业动态
IT之家 · 9-21
阅读 50
·
访客 50
OPPO ColorOS 17 小布已接入 150 多项服务,新增“小布来电”紧急提醒方式
IT之家 9 月 17 日消息,在 2026 OPPO 开发者大会期间,OPPO 公布了 ColorOS 17 中小布建议、提醒方式、导航与 AI 闪记等功能更新。 在 ColorOS 17 上,官方透露小布建议已与 40 多家头部服务伙伴…
行业动态
IT之家 · 9-17
阅读 70
·
访客 70
消息称苹果筹划重返服务器业务,高配版搭载 4 颗 M8 Ultra 芯片
IT之家 9 月 16 日消息,The Information 今天(16 日)晚间援引知情人士消息称,苹果公司正筹划推出企业级服务器,采用自研芯片,并可能 接入英伟达的网络设备 。 随着 AI 开发者对苹果电脑的需求不断上升,苹果希望借此…
行业动态
IT之家 · 9-16
阅读 39
·
访客 39
OpenAI 推出金融服务版 ChatGPT:集成 GPT-6 Astra 内置金融数据与细粒度引用,支持估值模型与研究报告
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 ChatGPT for Financial Services。 这是一款面向金融服务团队的定制化 ChatGPT 服务,结合内置金融数据与 GPT-6 As…
研究前沿
IT之家 · 9-11
阅读 89
·
访客 74
一篇读懂熔断器:从雪崩到自我保护
下游服务变慢时,上游的调用线程被阻塞,线程池耗尽后整个服务不可用——故障沿着调用链向上游传播,最终全站雪崩。熔断器就是切断了这条传播链的安全装置:检测到下游持续失败时自动「断开」,给下游恢复的时间。本文讲清熔断器的三态模型、与限流/降级的协作、以及 Resilience4j 的实践。
后端技术
精选
· 原创 · 11-3
阅读 70
·
访客 70
一篇读懂流式输出:SSE、打字机效果与首 token 延迟的工程账
聊天界面「逐字蹦出」的打字机效果,背后是流式输出:服务端边生成边推、客户端边收边渲染。本篇拆解流式的技术栈(SSE 协议、token 增量与累积)、首 token 延迟(TTFT)为什么是体验的核心指标、流式的工程细节(中断、错误处理、统计口径),以及什么场景该关掉流式。
大模型
精选
· 原创 · 11-3
阅读 50
·
访客 49
微软展示全新 Win11 搜索体验:从查找文件转向理解用户意图
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软展示全新的 Windows 搜索体验,计划借助 AI 让用户以更自然的方式查找信息、文件和应…
行业动态
IT之家 · 10-8
阅读 32
·
访客 32
模型即服务选型:API 供应商的分层评估清单
选模型 API 的本质是选供给关系,不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图,逐条展开七项评估清单,并给中小团队一条从网关起步的务实路线。
行业动态
精选
· 原创 · 10-6
阅读 683
·
访客 672
下载体验了 Muse 后,我清仓了 Airbnb,加仓了 Meta
IT之家 10 月 3 日消息,9 月 29 日作客财经播客《The Synopsis》时,资深独立股票分析师 Mostly Borrowed Ideas(下文简称 MBI)表示:**在下载体验了 Muse 后,我清仓了 Airbnb,加仓…
研究前沿
IT之家 · 10-3
阅读 58
·
访客 58
苹果 HomePod 运行 Siri AI 交互体验曝光:白 / 蓝 / 橙主色调指示灯
IT之家 9 月 24 日消息,消息源 @itspdfu 今天(9 月 24 日)在 X 平台发布推文,挖掘 audioOS 27 系统,**发现了适用于 HomePod 的 Siri AI 交互体验。** IT之家注:audioOS 并非…
行业动态
IT之家 · 9-24
阅读 43
·
访客 43