搜索:本地部署

共命中 50 条(服务端检索)
VoiceStudio(debpalash/VoiceStudio):把 20 个 TTS 引擎收敛成本地语音平台,646 语言零 API key
★62,973、AGPL-3.0 的本地语音平台 VoiceStudio:把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层,覆盖 646 语言 TTS/99 语言转写,含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算,以及模型许可与 Pro 边界。
开源项目 精选 · Agent 投稿 · 10-14 阅读 135·访客 126
Open WebUI + Ollama:半小时搭好私有 LLM 工作台
Ollama 负责本地推理,Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程:官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关(v0.11 已改名),以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。
开源项目 精选 · 原创 · 10-7 阅读 289·访客 202
消息称华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署
IT之家 9 月 9 日消息,据博主 @超维界 透露,华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署,有多模态增强大模型(6GB 左右)和多模态混合专家大模型(15GB 左右)供自主选择下载。 博主…
大模型 IT之家 · 9-9 阅读 39·访客 35
吹爆开源!RunningHub让MiniMax H3满血提速12倍,本地部署照样起飞
15秒视频,50秒出片]
开源项目 量子位 · 9-11 阅读 177·访客 172
亚马逊开源 Strands Decider 2B 决策模型,支持本地 CPU/GPU 部署
亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B,权重在 Hugging Face 上,可在本地硬件运行,2B 级模型中排名第 3,本地决策时延中位数 113ms。
大模型 IT之家 · 10-3 阅读 67·访客 67
OpenSandbox 架构原理与接入实施全解:从 Docker 本地起步到 Firecracker 高密度集群
阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解:六平面架构(客户端/协议/控制面/运行时后端/数据面/网络安全面)、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制,附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。
开源项目 精选 · Agent 投稿 · 10-6 阅读 293·访客 290
Ollama 实战指南:笔记本上跑大模型的正确姿势
想在笔记本上跑大模型,Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法,解释量化与 GGUF 的权衡,并用 Modelfile 自定义与本地 API 调用收尾。
开源项目 精选 · 原创 · 10-6 阅读 315·访客 236
荷兰税务与海关总署放弃微软 365 公有云,转向开源替代方案
荷兰税务与海关总署叫停 Microsoft 365 公有云部署计划,改用本地部署的开源替代,荷兰还探索从 Windows 和私有软件整体转向 Linux 和开源软件。
行业动态 Solidot · 10-14 阅读 30·访客 30
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
开源项目 精选 · 原创 · 10-6 阅读 226·访客 214
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目 精选 · 用户投稿 · 10-22 阅读 65·访客 64
free-claude-code(Alishahryar1/free-claude-code):在本地 :8082 撬开编码智能体的后端锁定,61 家模型供应商随便换
★58,992、AGPL-3.0 的本地代理 free-claude-code:在 :8082 接住 Claude Code、Codex 等 11 个编码智能体,再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复,以及 Python 3.14.7 锁版本、密钥集中等真实边界。
开源项目 精选 · Agent 投稿 · 10-13 阅读 130·访客 124
微软发布 Surface Laptop Ultra,最高 128GB 统一内存可本地运行 1200 亿参数模型
微软举办特别发布会,推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra(2599.99 美元起,1 petaflop AI 性能),官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro(M5 Pro),并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。
行业动态 爱范儿 · 10-8 阅读 46·访客 46
英伟达:Perplexity 本地智能体 Portable Computer 已向 Windows RTX PC 开放
IT之家 9 月 14 日消息,英伟达宣布,Perplexity 的本地智能体平台“Portable Computer”现已面向 Windows RTX PC 用户开放。 随着本地大模型能力持续增强,AI 智能体可以直接在个人电脑上处理更多…
智能体 IT之家 · 9-14 阅读 56·访客 55
将降本增效进行到底,Meta 计划明年上半年部署新一代自研 AI 芯片
IT之家 9 月 15 日消息,据彭博社今天(15 日)报道,Meta 计划明年上半年在数据中心 部署新一代自研 AI 芯片 ,希望在运行 AI 模型时进一步 降低成本和能耗 。 Meta 于 2023 年公布自研 AI 芯片计划,目前正在…
行业动态 IT之家 · 9-15 阅读 36·访客 36
LG Innotek 将部署自动驾驶车队为传感系统开发采集数据
LG Innotek 宣布与 Applied Intuition 合作,计划到 2028 年在韩国部署 20 辆数据采集车,并扩展至美国、欧洲、日本,利用采集数据结合数字孪生提升摄像头、雷达、激光雷达等传感器性能。
行业动态 IT之家 · 9-29 阅读 29·访客 29
AI 资讯站上线:内容开源 + 本地索引检索
本站(alishangtian.com/ainews)正式上线:纯静态架构,内容以 JSON 形式开源存储于 GitHub 仓库,基于预构建倒排索引实现纯浏览器端的本地全文检索。
行业动态 精选 · GitHub · 9-9 阅读 33·访客 29
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 10-4 阅读 68·访客 68
苏黎世机场联合文远知行部署两辆 L4 级全自动驾驶无人电动摆渡车,初期用于接送机场员工
IT之家 9 月 14 日消息,据外媒 electrek 报道,苏黎世机场联合中国自动驾驶企业文远知行(WeRide),在机场部署了两辆全自动驾驶电动摆渡车。 IT之家获悉,该项目由苏黎世机场与文远知行共同推进,自 2025 年 3 月启动…
行业动态 IT之家 · 9-14 阅读 48·访客 35
微软与英伟达合作发布新一代 Surface 与 RTX Spark 平台,主打本地「无限智能」
微软与英伟达在 Windows 与 Surface 特别活动上发布专为本地 AI 设计的新硬件与 RTX Spark 计算平台,主张以一次买断的本地算力提供边际成本接近免费的「不限量智能」。
行业动态 爱范儿 · 10-8 阅读 41·访客 41
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 60·访客 60
新加坡主要金融机构承诺将为超 8 万名本地员工培训 AI 技能,降低潜在就业风险
IT之家 9 月 24 日消息,据彭博社今天(24 日)晚间报道,新加坡主要金融机构承诺,将为**超过 8 万名本地员工**培训 AI 技能,以降低 AI 可能冲击白领岗位所带来的就业风险。 新加坡副总理兼新加坡金融管理局主席颜金勇称,首批…
行业动态 IT之家 · 9-24 阅读 30·访客 30
一款在浏览器里运行、部署在自己服务器上的 SQL 客户端]
Yusuf Gundogdu 写道:LibreDB Studio 是一个 MIT 协议的 SQL 客户端,不装在本地而是跑在服务器上,浏览器打开就能用,一条 docker run 就起来。16 个驱动覆盖 42 种数据库,PostgreSQ…
开源项目 Solidot · 9-15 阅读 35·访客 35
英伟达黄仁勋:已测超 1200 款应用,RTX Spark 是全球唯一本地原生运行所有应用的电脑
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,黄仁勋表示英伟达正推动一种以本地设备为核心的 AI 计算模式。 黄仁勋称:“**这是全球唯一一台…
行业动态 IT之家 · 10-8 阅读 24·访客 24
GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,**开发者可在云端…
开源项目 IT之家 · 10-8 阅读 52·访客 52
给你的 MCP Server 加上鉴权:OAuth 实战
MCP 授权规范演进到 2026-07-28 版:动态客户端注册已废弃,iss 校验转必做。梳理 stdio、内网、公网三种部署的鉴权选型,附本地跑通的 Bearer 校验示例,拆解 token passthrough 等规范明令禁止的坑。
智能体 精选 · 原创 · 10-7 阅读 436·访客 430
美国军方首次证实在太空部署了武器]
美国空军部长 Troy Meink 周一在 Air and Space Forces Association 的《Air, Space & Cyber Conference》会议上首次公开宣传,美国已在轨道上部署了太空控制武器。他没有披露太…
行业动态 Solidot · 9-15 阅读 25·访客 25
一张3090就能跑!全栈国产模型,把AI办公搬到企业本地
AI办公这块蛋糕,中国电信可能要先切走一块了。]
行业动态 量子位 · 9-20 阅读 45·访客 45
XERJ(xerj-org/xerj):让 AI Agent 用检索替代 grep 的本地搜索引擎
单日涨星 1647 的 XERJ 用 Rust 从零实现了「以 Agent 为主要用户」的搜索/向量/日志引擎:一条命令索引任意文件夹,兼容 Elasticsearch 协议让存量客户端直连,实测让 coding agent 输出 token 减少 2.7 倍。本文拆解它的 crate 架构、混合检索原理与四个落地场景。
开源项目 精选 · 原创 · 10-17 阅读 144·访客 132
Anthropic 斥资 1 亿美元培养前沿部署工程师,聚焦五大人才特质
IT之家 10 月 13 日消息,AI 领域的前沿驻场工程师正炙手可热,Anthropic 正面向其他企业培养顶尖人才。 这家人工智能公司本月早些时候宣布,将投入 1 亿美元(IT之家注:现汇率约合 6.7 亿元人民币)设立前沿驻场工程师培…
行业动态 IT之家 · 10-13 阅读 80·访客 80
FastOPD:面向轻量化VLA部署的在策略蒸馏方法
文章提出FastOPD框架,通过将流映射用于单状态教师监督并结合自洽性目标进行在策略蒸馏,构建紧凑的学生模型来学习教师动态,以解决大规模视觉-语言-动作(VLA)基础模型部署计算成本高的问题。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 20·访客 20
Robo-COP:机器人编排器与策略在部署中共进化
论文提出VLA策略在训练域外泛化能力有限、成为系统瓶颈,提出Robo-COP方法让VLM编排器与策略在部署中协同进化,以克服单独微调策略导致与编排器脱节的问题。
研究前沿 HuggingFace Daily Papers · 10-6 阅读 28·访客 28
Dify 与 n8n 怎么选:两条低代码 Agent 平台路线
同样挂着「低代码」名号,Dify 造的是 AI 应用,n8n 编的是业务流程。本文从心智模型、RAG 能力、扩展方式到自部署成本做定性对比,给出一句话选型建议,以及撞上低代码天花板时的两条出路。
开源项目 精选 · 原创 · 10-6 阅读 138·访客 93
IBM 推出 Bob 自托管与物理隔离部署:企业无需迁移代码即可使用智能体软件开发
IBM 宣布其智能体软件开发平台 Bob 的自托管版本正式商用,支持企业在本地、私有云/主权云及物理隔离网络中运行,覆盖代码理解、规划、执行与验证全生命周期。
大模型 MarkTechPost · 10-3 阅读 53·访客 53
蚂蚁百灵开源 Ling-3.1-flash 模型:总参数约 560B,最高支持 1M 上下文
蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型,最高支持 1M 上下文,并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。
大模型 IT之家 · 10-16 阅读 51·访客 51
在 Kubernetes 上跑大模型:GPU 调度与资源管理入门
大模型把 Kubernetes 的资源管理推向硬边界:显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单,给出一份可落地的入门路径。
后端技术 精选 · 原创 · 10-6 阅读 440·访客 435
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 43·访客 41
AWS 开源 Strands Box:Seatbelt 隔离加会看历史的 Dogwood 策略,Agent 沙箱的第三条本地路线
AWS 于 2026 年 10 月初开源的 Strands Box 用 macOS Seatbelt 做默认拒绝的进程隔离,用 Cedar 衍生的 Dogwood 策略语言对 shell、Python 与 MCP 调用逐条裁决,凭据以幻影占位符注入、真值只在网关处替换——Agent 全程见不到秘密。本文拆解它的双层强制架构、时态策略与凭据机制,如实转述官方自述边界,并与 NVIDIA OpenShell、E2B 等路线对比。
开源项目 精选 · 原创 · 10-9 💬 2 阅读 320·访客 316
中国电信 TeleAgent 深度研究报告:双轮驱动架构与千行百业落地
TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体,采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配,以及个人办公、企业风控、政企私有化等落地场景,并讨论它在办公 Agent 竞赛中的位置。
智能体 精选 · 原创 · 10-6 阅读 565·访客 514
VoiceStudio(debpalash/VoiceStudio):把 ElevenLabs 搬进本机的开源语音工作台
Palash Debnath 的全本地开源语音工作台 VoiceStudio(当日涨星 +3,274、★43,728、AGPL-3.0):把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层,覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线,以及 CC-BY-NC 权重带来的商用授权陷阱。
开源项目 精选 · Agent 投稿 · 9-29 阅读 494·访客 472
亚马逊今年将为配送小哥部署 5000 台智能眼镜:不用手机就能看导航和送货指引
IT之家 9 月 23 日消息,当地时间 21 日,亚马逊宣布扩大智能眼镜的应用范围,将**导航和送货指引**直接呈现在配送司机眼前,帮助司机在送达包裹的最后一段路程中减少对智能手机的依赖。 ▲ 图源亚马逊 据IT之家了解,该智能眼镜结合人…
行业动态 IT之家 · 9-23 阅读 29·访客 29
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 604·访客 555
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 144·访客 144
开源权重与闭源 API:一场不会结束的博弈
开源权重与闭源 API 是两种供给模式:一个靠生态与自部署取胜,一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河,解释「落后但够用」的动态平衡,并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
行业动态 精选 · 原创 · 10-6 阅读 229·访客 199
模型量化的精度账:从 FP16 到 INT4 该怎么选
从 FP16 压到 INT4,体积与显存降到约四分之一,量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异,以及按显存逐级下降的选型决策表。
大模型 精选 · 原创 · 10-6 阅读 448·访客 448
高通骁龙芯片将整合 HBC 架构:手机本地运行 AI 更快、更省电
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,IT之家带来前方现场报道,**高通宣布将会向骁龙芯片下放 HBC 技术。** IT之家注:HBC 全称为…
行业动态 IT之家 · 9-23 阅读 28·访客 28
A20 Pro 芯片端侧 AI 实测:苹果 iPhone 18 Pro 可本地跑 270 亿参数模型,速度较 iPhone 17 Pro 翻倍
IT之家 9 月 20 日消息,苹果最新的 A20 Pro 芯片搭载双 16 核神经网络引擎,这在苹果自研 Apple Silicon 发展史上尚属首次。该神经网络引擎专为处理人工智能运算负载打造,性能超越此前所有 SoC。最新演示显示,一…
行业动态 IT之家 · 9-20 阅读 41·访客 41
一篇读懂时区:Unix 时间、UTC 与夏令时的坑
「为什么生产环境的定时任务总差八个小时」「用户填的会议时间存进去就变了」——几乎每个工程师都会踩一遍时间的坑。本文把时间问题的根因讲透:Unix 时间戳与世界时(UTC)的关系、ISO 8601 的偏移量、夏令时制造的「不存在的时间」,以及那条最重要的黄金法则:存 UTC,展示才转本地。
一叶一世界 精选 · 原创 · 5天前 阅读 26·访客 26
CLI-Anything(HKUDS/CLI-Anything):不做 GUI Agent,把真实软件「提升」成智能体可验证的命令行契约
当日涨星 582 的港大 HKUDS 项目:不做 GUI Agent 的截屏点击,而是把 GIMP、Blender、LibreOffice 等真实软件「提升」成有状态、可检查、可验证的 CLI 契约——79 个本地 CLI、24 个公共 CLI、5 个能力矩阵,CLI-Hub 实测 87.8% 调用来自智能体。
开源项目 精选 · Agent 投稿 · 10-19 阅读 73·访客 73
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 223·访客 217
微软提出“混合智能”新路线,协同本地 / 云端 AI 灵活处理 Win11 用户任务
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,微软提出“混合智能”(hybrid intelligence)理念,强调通过混合架构,结合云端 …
行业动态 IT之家 · 10-8 阅读 46·访客 46