AI 资讯 知识库 后端技术Palantir Foundry 深度研究(一):平台全景与本体架构

Palantir Foundry 深度研究(一):平台全景与本体架构

「本体论」系列前 20 篇讲的是原理与方法论:四要素、标准栈、构建流水线、检索与 Agent 应用。这个子系列换一个视角——以 Palantir Foundry 为解剖对象,看上述原理如何落成一套支撑复杂企业运营的工业级系统。选 Foundry 有个朴素的理由:它是目前把「本体」从数据模型提升为平台中枢这件事做得最完整、文档最公开的商业实现。本篇先看全景:平台的演化史、数据流架构,以及承托本体的物理底座 Object Storage V2。

flowchart LR
  Source[源系统] --> Connect[Data Connection]
  Connect --> Dataset[数据集]
  Dataset --> Transform[转换与清洗]
  Transform --> Ontology[Ontology 对象层]
  Ontology --> App[应用与 Agent]
  App --> Action[受控 Action]
  Action --> Writeback[外部系统写回]
  subgraph OSv2[Object Storage V2]
    OMS[OMS 元数据]
    Funnel[Data Funnel 索引与写入]
    DB[Object Databases]
    OSS[Object Set Service 查询]
    OMS --> Funnel --> DB --> OSS
  end
  Transform --> Funnel
  Action --> Funnel

从 Gotham 到 AIP:一个平台的三次演化

理解 Foundry 的架构,得先理解它为什么长成这样——它不是从零设计的数据平台,而是从情报分析工具逐步演化的产物。

时间 事件 关键含义
2003 Palantir 成立 情报与国防分析起家
早期 Gotham 成为 Palantir 的首个平台 从情报与实体分析起步
2016 Foundry 发布(SEC 后续文件记载) 第二平台,面向商业与运营场景
2022-12 官方长文《The Ontology》 把本体定位为「现代软件栈的基础元素」
2023-04 AIP 对外发布 LLM 接入 Foundry 与本体驱动的业务工作流
2023-09-19 TypeScript OSDK GA 本体成为对外 API:从类型安全客户端访问对象、链接、动作与查询
2023-11-02 Python OSDK GA 本体 API 扩展到 Python 开发工作流
2026-06-30 Phonograph(OSv1)停用 本体仓库完成向 Object Storage V2 的迁移

Palantir 的 SEC 注册文件称 Gotham 是其第一个软件平台;Palantir 后续向 SEC 提交的文件记载 Foundry 于 2016 年作为第二个平台发布,面向大型企业的一组共同挑战。两者的平台定位有差异,但本体工程的连续性在于:把分散系统里的业务对象与关系放进共享语义中。Foundry 并非「又一个数仓」,它要把数据工程产物变成业务应用能消费的运营对象。2022 年底的官方长文进一步把 Ontology 定位为现代软件栈的基础元素;2023 年 AIP 则把 LLM 接到本体与业务运营上。

小结:Gotham 是首个平台,Foundry 面向商业运营,AIP 将生成式 AI 接入业务工作流;平台叙事从数据整合走向运营语义与 Agent。

平台数据流全景:Ontology 卡在正中央

官方给 LLM 用的平台总结页(2026-07 更新)给出了一条完整的数据流:

Source Systems → Connectors → Datasets → Transforms
→ Clean Datasets → Ontology → Applications
→ User Decisions → Actions → Writeback to external system

从源系统到决策再回写外部系统,链条上唯一被放大加粗的节点就是 Ontology。左边是经典数据工程:连接器同步源系统、数据集承载版本化文件、转换层(Spark/Flink 代码或可视化管道)产出干净数据集。右边是运营与 AI:应用消费本体对象、人做决策、动作类型把决策写回。Ontology 正好卡在「IT 供给」与「业务消费」的交界点上——数据工程师的产物到这里变成业务人员与 Agent 能理解的对象。

官方对这个位置的表述值得原样引用:Ontology 是「组织的运营层」(an operational layer for the organization),是企业的数字孪生,包含语义元素(对象、属性、链接)与动力元素(动作、函数、动态安全)。更反直觉的是下面这句——官方明确说它是「数据、逻辑、动作、安全的四重整合」,并且 explicitly「not a semantic layer」。

为什么官方要否认「语义层」这个听起来更体面的标签?因为业界通行的 semantic layer 只管「读」:统一指标口径、给 BI 工具提供一致视图。Foundry 的本体管四件事:数据(对象及事实)、逻辑(函数计算)、动作(对世界的合法改动)、安全(谁在什么范围内能做什么)。语义层是其中最薄的一瓣。把本体窄化成语义层,会漏掉它作为运营架构的全部增量——这也是本系列第四篇要专门拆动作类型的原因。

小结:Ontology 在 Foundry 里的位置不是「数据之上的一层皮」,而是数据流从「供」到「用」的转换枢纽。

Object Storage V2:本体的物理底座

本体对象在 Foundry 里存在哪?答案是对象后端(Object Backend),核心是 Object Storage V2——官方称之为「支撑本体的下一代规范数据存储」,是对旧引擎 Phonograph 的完全重写。它是一套微服务架构,四个角色分工明确。

Ontology Metadata Service(OMS)管「型」:对象类型、链接类型、动作类型与全部元数据的权威注册地。你在 Ontology Manager 里的每次修改,最终都落到这里。

Object databases管「值」:索引后的对象数据本体。OSv1(Phonograph)已退役,OSv2 是现役引擎。OSv2 最核心的设计变化是索引与查询分离,官方明确说这让它「能更容易地水平扩展」——索引写入由专门的管道承担,查询读取由另一组服务承担,各自独立扩缩容。

Object Set Service(OSS)管「读」:搜索、过滤、聚合与加载都从这里出。它消费的是「对象集」这个抽象——应用与函数操作的不是裸对象数组,而是可以持续组合的对象集。对象集有四类:static(保存主键集合)、dynamic(保存过滤条件,随数据更新自动变化)、temporary(仅创建者可见,24 小时过期)、permanent。

Object Data Funnel管「写」:OSv2 专属的编排服务,读取数据源(数据集、受限视图、流式输入)与 Actions 产生的用户编辑,做增量索引写进对象数据库。所有管道默认增量索引,changelog 由 Funnel 自动计算——旧版里需要手工维护 changelog 的活儿被收编了。

把这四个服务放在一起看,OSv2 的核心抽象就不是「数据库里有一张对象表」,而是定义、索引、查询、写入彼此解耦:OMS 管 schema 的权威定义,数据源与 Action 编辑经 Funnel 汇合成索引,对象库承载可查询状态,OSS 面向应用提供对象集操作。换句话说,Foundry 把本体拆成控制面元数据与运行面数据服务,再由 Funnel 把外部数据变更和用户编辑合并到同一对象视图里。这也解释了为何动作编辑不是直接改 backing dataset——本体对象是运营投影,原始源系统仍保留自身权威。

小结:OSv2 的微服务拆分不是纯粹为了扩容,而是把「谁定义语义、谁索引数据、谁查询对象、谁写入变化」分成可独立治理的职责。

规模参数给了底座能力的量级(官方文档,截至 2026-11):单对象类型可扩展到数百亿对象规模;单次 Action 用户编辑的对象上限为 10,000 个;Spark 执行的大规模 search-around 默认上限为 100,000 对象;流式数据源支持低延迟索引。这些数字共同说明一件事:OSv2 是按「把整个企业的运营实体都放进本体」的规模设计的,不是按「建一个几千节点的 demo 图谱」。

对于架构选型,这些上限也应该按「边界」而不是「承诺吞吐」理解:具体性能会受对象属性宽度、索引配置、查询形态、并发与资源配额影响;默认 search-around 上限是可调的运行参数,不等于每个应用都应一次遍历十万对象。平台规模能力回答「能否承载」,实际负载测试回答「我的工作流能否在预算和延迟目标内运行」。这也是与开源图数据库对比时不能只拿顶层对象数作结论的原因。

小结:OSv2 的规模数字说明设计目标,不替代针对实际数据形态与工作负载的性能验证。

OSv1 到 OSv2:一次本体仓库的大迁徙

OSv2 不是平滑升级,官方专门维护了一页破坏性变更清单。对我们自建平台的启示极多,这里挑四条最有分量的。

第一,OSv2 对本体对象的用户编辑要求经 Actions("OSv2 only supports user edits via Actions")。OSv1 时代还有绕过动作类型的直接用户编辑 API,OSv2 不再支持这一路径。这个限制针对用户编辑本体对象,并不意味着源系统、数据集管道或其他平台管理写入都走 Action。对人或 Agent 通过运营界面修改对象而言,动作类型把参数、提交条件与授权收口到同一契约。

第二,writeback datasets 降级为可选的 materializations。OSv1 里用户编辑必须落到 writeback 数据集;OSv2 里重命名为物化(materialization)且改为可选——编辑状态主要由 Funnel 直接管理,物化只是给外部消费者留的导出通道。数据流的权威从「旁路数据集」收回到「本体引擎本身」。

第三,主键与属性类型强制数据约束。OSv1 上主键重复「看似成功实则本体错乱」,OSv2 上直接让批管道构建失败——宁可不索引,也不索引出错误状态。配套地,旧 changelog 的「最新时间戳获胜」语义被废弃,确定性行为成为硬要求。

第四,迁移工具与截止日期。官方提供 Upgrade Assistant 做迁移,并给 Phonograph 设了死线:2026-06-30 之后不可用。用平台压力推动存量迁移,而不是无限期兼容——这也是一个值得借鉴的治理姿态:仓库引擎的演化需要明确的强制力,否则旧架构会以「稳定」的名义永生。

小结:OSv1→OSv2 的迁移史是一部「契约收权史」——编辑收归动作、权威收归引擎、质量收归约束,每一条都让本体更接近「可被机器信任」。

本体为什么必须放在正中央

看完全景可以回答一个根本问题:为什么 Foundry 把宝押在本体上,而不是押在某个数据格式或某个应用上?

因为企业数字化的真正瓶颈从来不是存储和计算,而是「语义的翻译次数」。源系统的表要翻译成数仓的模型,数仓的模型要翻译成应用的接口,应用的接口要翻译成人的报表——每翻译一次就失真一次,每新增一个应用就多翻译一遍。Gotham 时代 Palantir 就发现,情报分析的瓶颈在实体对齐;Foundry 时代发现,企业运营的瓶颈是同一件事的商业版本。本体把翻译收敛为一次:数据到对象只映射一遍,之后应用、函数、动作、Agent 全部消费同一套类型。

这也解释了平台细节里反复出现的设计取向:OSDK 的代码生成让外部程序「以业务的语言」读写本体;AIP 把 LLM 架在本体上而不是架构在数据集上;Ontology MCP 把本体资源直接暴露成 Agent 工具。三件事共享同一个判断——谁能消费语义,谁就该直接对接口体,而不是隔着 API 网关重新发明一遍业务词汇。

小结:本体放在正中央,本质上是一种「翻译次数最小化」的架构经济学;Foundry 的每个后续产品(OSDK、AIP、MCP)都是这条经济学原理的推论。

参考资料

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?