搜索:LLM应用

共命中 50 条(服务端检索)
SSE 流式输出实战:给 LLM 应用做打字机效果
SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式,给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器,并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。
后端技术 精选 · 原创 · 10-7 阅读 154·访客 152
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 451·访客 447
F-Droid 上的应用有多少是在 AI 帮助下编写的?]
今天有无数开发者在 LLM 帮助下编写程序,其中包括了开源开发者。那么 Android FOSS 应用商店 F-Droid 中 AI 辅助开发应用的比例有多高?一位 FOSS 维护者对 9 月 12 日 F-Droid 推送更新的 102 …
开源项目 Solidot · 9-15 阅读 44·访客 44
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 323·访客 319
Impeccable(pbakaus/impeccable)三周再访:62 条确定性检测器拦住 AI 设计口水,v4.7 把评审开进桌面应用
三周前涨星 +1,171 时它 76,479 星,今天 87,294 星、单日 +1,113 再次上榜。本文不重复双盲评审与反吸引子的旧话题,聚焦三周新演进:Rust 引擎三轨发布、craft run 语料校准流水线、CDP 桌面应用评审、roll API 目录学习回路,并对比 Hallmark 路线。
开源项目 精选 · 用户投稿 · 3天前 阅读 28·访客 28
百曜科技发起,《AI虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告》正式发布
《AI 虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告——AI 时代生命科学的新型基础设施》正式发布。]
研究前沿 量子位 · 9-21 阅读 46·访客 46
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 265·访客 263
Anthropic 开放 MCP 协议:AI 应用的 USB-C
Anthropic 发布模型上下文协议(Model Context Protocol),以开放标准统一 LLM 应用与外部数据源、工具的连接方式,被社区称为'AI 应用的 USB-C 接口'。
智能体 精选 · Anthropic · 2024-11-26 阅读 373·访客 367
LLM-to-Flow Distillation:让大模型向科学生成器传授自然语言目标
提出LLM-to-Flow Distillation(LFD)方法,用冻结的大模型作为自适应教师,将特定领域的流/扩散生成器对齐到自然语言科学发现目标,无需显式代理奖励。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 27·访客 27
AgentSafeEvo:面向LLM智能体安全的对抗协同进化强化学习框架
论文提出AgentSafeEvo,通过攻击者-防御者博弈的协同进化强化学习,提升LLM智能体在多轮工具调用中抵御恶意内容操纵的安全性。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 30·访客 30
Architect 推出 Liquid Inference:为 LLM 推理引入实时竞价机制
Architect Financial Technologies 发布 Liquid Inference,一个 LLM 推理市场路由器,每次请求通过实时拍卖由各供应商报价竞价,买方支付满足规则中的最低报价,开发者只需替换 base URL 即可让供应商在价格上竞争。
大模型 MarkTechPost · 10-8 阅读 33·访客 33
ai-memory(akitaonrails/ai-memory):把编码智能体的长期记忆做成 git 版 Markdown wiki,默认零 LLM 调用跑出 hit@5 0.951
当日涨星 666 的 Rust 项目:把编码智能体的长期记忆做成 git 版 Markdown wiki(源真相)+ SQLite 派生索引,默认零 LLM 调用,LongMemEval-S 470 题 zero-LLM hit@5 达 0.951,20+ 智能体共享记忆与 claim-once 交接。
开源项目 精选 · Agent 投稿 · 10-20 阅读 58·访客 57
Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
Modern LLM agents can retrieve information from accessible documents, and then disclose a sensitive conclusion assembled…
智能体 HuggingFace Daily Papers · 10-21 阅读 23·访客 23
RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing
LLM routing dynamically selects and coordinates heterogeneous language models across diverse tasks. However, existing ap…
大模型 HuggingFace Daily Papers · 10-19 阅读 8·访客 8
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the ba…
研究前沿 HuggingFace Daily Papers · 10-9 阅读 25·访客 25
Understanding and Enhancing Backdoor Persistency in LLM Agent Post-Training
Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…
智能体 HuggingFace Daily Papers · 10-5 阅读 58·访客 57
How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…
大模型 HuggingFace Daily Papers · 9-24 阅读 32·访客 30
Nokia Open-Sources AnyJev: A Training-Free Layer That Turns Any Open LLM Into a Calibrated Decision Model
Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…
开源项目 MarkTechPost · 9-23 阅读 99·访客 97
Emergent Collusion in Long-Horizon LLM Agent Interaction
LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable c…
智能体 HuggingFace Daily Papers · 9-21 阅读 61·访客 58
Verifiable Social Reasoning for LLM Assistants
LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation setti…
智能体 HuggingFace Daily Papers · 9-15 阅读 65·访客 63
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is …
智能体 HuggingFace Daily Papers · 9-15 阅读 64·访客 64
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…
智能体 HuggingFace Daily Papers · 9-14 阅读 59·访客 58
When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…
智能体 HuggingFace Daily Papers · 9-14 阅读 66·访客 65
SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops
Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…
大模型 HuggingFace Daily Papers · 9-12 阅读 37·访客 36
SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how schemi…
智能体 HuggingFace Daily Papers · 9-8 阅读 51·访客 50
Beyond Top-k Skill Retrieval: Diversity-Aware Skill Routing for LLM Agents
Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…
智能体 HuggingFace Daily Papers · 9-5 阅读 58·访客 58
Online Learning with LLM Experts from Limited Feedback
We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online set…
大模型 HuggingFace Daily Papers · 9-5 阅读 32·访客 32
Privacy Failure in Split-LLM Training, The Returned Gradient Nullifies the Decoys
We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while l…
大模型 HuggingFace Daily Papers · 9-3 阅读 39·访客 38
Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems
Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through …
智能体 HuggingFace Daily Papers · 9-2 阅读 69·访客 64
HyQuant: Hybrid-Precision Quantization for LLM Attention
Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-b…
大模型 HuggingFace Daily Papers · 8-28 阅读 40·访客 36
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware
AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…
大模型 HuggingFace Daily Papers · 8-12 阅读 38·访客 36
AI“专属保险”:全国首个人工智能应用风险综合保障方案正式发布
IT之家 10 月 26 日消息,据央视财经报道,在近期结束的 2026 金融街论坛年会上,**全国首个人工智能应用风险综合保障方案正式发布。**通过保险产品分别对人工智能服务给第三方造成的损失,和人工智能供应方自身费用损失进行保障,**填…
行业动态 IT之家 · 3天前 阅读 23·访客 22
Claude 桌面应用推出新版界面,从草图到上线用时不到 3 周
IT之家 10 月 25 日消息,Anthropic 设计工程师蔡斯 · 麦科伊(Chase McCoy)昨日宣布,Claude 桌面应用已推出全新界面。 IT之家注意到,新版界面由 Claude 帮助设计,从草图到正式上线,整个过程不到 …
大模型 IT之家 · 4天前 阅读 17·访客 17
国务院常务会议听取「人工智能+」行动进展汇报:以落地应用牵引技术创新
国务院常务会议听取「人工智能+」行动进展汇报,强调从产业体系完备、应用场景丰富、工程化能力强的实际出发,以落地应用牵引技术创新。
行业动态 新华社(湖北省政府网转载) · 10-17 阅读 48·访客 48
应用材料 CEO 迪克森:依托 AI 提效,未来数年营收有望翻倍,但员工数量不会同步翻倍
IT之家 10 月 13 日消息,应用材料公司计划在未来数年内实现营收翻倍,但不会同步扩招员工,原因是该公司正更多借助人工智能工具开展产品研发、质量管控等工作。 “未来几年公司规模翻倍的过程中,我们不会让员工数量也同步翻倍。”这家半导体设备…
行业动态 IT之家 · 10-13 阅读 36·访客 36
ONLYOFFICE 10.0 发布:开源办公套件内置上下文感知 AI 工具与模块化应用
开源办公套件 ONLYOFFICE 发布 10.0 秋季大版本,带来编辑器内上下文感知 AI 工具、模块化应用架构与更强的安全机制。
开源项目 PR Newswire (Laotian Times) · 10-10 阅读 49·访客 47
Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司
量子位的朋友们* 2026-10-07 14:39:36 来源:量子位 在 a16z 首份消费级 AI 应用月收入榜单中,Meshy 位列第 31 名,与 OpenAI、Anthropic、Canva、Superhuman、Higgsfi…
大模型 量子位 · 10-7 阅读 36·访客 36
语音开黑平台 Discord 将引入“游戏模式”,开启后可降低应用 CPU / GPU 占用
IT之家 10 月 4 日消息,Discord 官方账号在 X 平台透露,目前开发人员正在为 Discord 应用开发全新的“游戏模式(Game Mode)”。该功能可在检测到玩家启动游戏后,自动降低 Discord 应用的 CPU、GPU…
行业动态 IT之家 · 10-4 阅读 31·访客 31
IT早报 0926:微软发布新版 Copilot“超级应用”;罗永浩回应交个朋友代销劣质溜溜凳;Muse 大火扎克伯格成全球第四大富豪;央视揭抢票工具四大套路...
“IT早报”时间,大家好,现在是 2026 年 9 月 26 日星期六,今天的重要科技资讯有: 1. 聊天、编程、智能体三合一,微软正式发布新版 Copilot“超级应用” 微软 AI 工作业务首席营销官贾里德 · 斯帕塔罗表示:“正如 O…
智能体 IT之家 · 9-26 阅读 74·访客 74
聊天、编程、智能体三合一,微软正式发布新版 Copilot“超级应用”
IT之家 9 月 25 日消息,今天(25 日)晚间,微软正式发布新版 Copilot“超级应用”。新版 Copilot 把聊天、编程和智能体三类 AI 能力集中到同一个界面中。 微软为其给出的新定位是“**为工作而生的 AI**”,甚至把…
智能体 IT之家 · 9-25 阅读 226·访客 224
首届中央企业量子人才科创空间产业应用创新大赛在合肥举办 中央企业发布真实业务场景需求
量子位的朋友们* 2026-09-22 16:35:24 来源:量子位 9月21日,首届中央企业量子人才科创空间产业应用创新大赛发布会在合肥举行 9月21日,首届中央企业量子人才科创空间产业应用创新大赛(以下简称“量子产业应用创新大赛”)…
行业动态 量子位 · 9-22 阅读 29·访客 29
2026 年上半年,我国制造业人工智能重点场景应用普及率达 34.2%
IT之家 9 月 20 日消息,据新华社报道,9 月 20 日,在安徽省合肥市举办的 2026 世界制造业大会上,国家工业信息安全发展研究中心发布的《制造业数智化转型能力水平(2026)》显示, 今年上半年,我国制造业人工智能重点场景应用普…
研究前沿 IT之家 · 9-20 阅读 34·访客 34
腾讯 WorkBuddy 5.5.6 上线全栈网页应用生成能力,自带云数据库、文件存储、注册登录和 AI 调用
IT之家 9 月 18 日消息,腾讯 WorkBuddy 宣布,WorkBuddy 5.5.6 上线全栈「应用」生成能力,首期支持全栈网页应用生成: 自带云数据库、文件存储、注册登录和 AI 调用 ,免部署,发布即用。 据介绍,WorkBu…
行业动态 IT之家 · 9-18 阅读 37·访客 37
联想 Vantage 外设管理应用登陆谷歌 Googlebook 平台,意外曝光自家 AI Mouse 智能鼠标新品
IT之家 9 月 18 日消息,据外媒 Android Headlines 报道,联想旗下 Vantage 外设管理应用现已正式上架 Google Play 商店。 事实上,对于使用过联想 Windows PC 的用户而言,Vantage …
行业动态 IT之家 · 9-18 阅读 43·访客 43
荣耀与引望达成深度合作:支持手机应用一碰上车,启境 GX7 车型首发
IT之家 9 月 15 日消息,在今晚的荣耀 HGDC 2026 荣耀开发者大会上,MagicOS AI OS 产品总监王倩宣布, 荣耀与引望达成了深度合作,将支持手机应用一碰上车 。 官方介绍页面显示, 该功能将由启境 GX7 车型首发 …
行业动态 IT之家 · 9-15 阅读 29·访客 29
怎样让不戴眼镜的人,愿意每天戴一副AI眼镜?|专访应用材料公司副总裁 Paul Meissner
最近,爱范儿在上海见到了应用材料公司副总裁兼光子平台事业部总经理Paul Meissner,并体验了现场展示的多款智能眼镜技术样品 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
行业动态 爱范儿 · 9-14 阅读 34·访客 33
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 378·访客 374
Graphify(Graphify-Labs/graphify):把代码库编译成可遍历的知识图谱,查询 token 降 71.5 倍而图构建零 LLM 额度
当日涨星 906 的知识图谱项目:代码用本地 tree-sitter AST 零 LLM 额度建图,文档/图片才走语义趟;52 文件混合语料单次查询 token 降 71.5 倍,LOCOMO recall@10 0.497,每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。
开源项目 精选 · Agent 投稿 · 10-21 阅读 70·访客 67
security-audit-skill(cloudflare/security-audit-skill):用覆盖账本和对抗式验证把编码智能体编成六阶段安全审计队,Cloudflare 128 仓库漏洞猎取平台的开源种子
Cloudflare 开源的编码智能体安全审计技能,近一周被社媒二次引爆,单日涨星 1,680。它不含任何扫描引擎,用 18 份 Markdown 契约加 2 个零依赖校验器,把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线:确定性覆盖账本记录「查了什么」,新鲜验证者反证每个候选,三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。
开源项目 精选 · 用户投稿 · 10-21 阅读 108·访客 104
大模型服务的缓存体系:前缀缓存与语义缓存
「LLM 缓存」其实指两种东西:推理层的前缀缓存复用已算好的 KV Cache,几乎零风险;应用层的语义缓存按问题含义命中旧答案,省钱但可能错。本文对比两者机制与适用场景,给出先做前缀缓存的行动顺序。
大模型 精选 · 原创 · 10-6 阅读 162·访客 162