资讯

基于Data Fabric构建数据服务

基于 Data Fabric 构建数据服务

很多企业并不缺数据,也不缺接口。业务系统里有大量数据,数据仓库里有大量模型,BI平台里有大量报表,数据团队也可以根据需求开发各种API。表面上看,数据已经能够被查询、被导出、被调用。

但在真实的数据使用过程中,企业仍然会反复遇到类似问题:运营团队要做客户分析,需要重新取客户数据和订单数据;客服系统要查看客户历史,又要重新开发客户接口;经营分析要看客户价值,还要重新确认指标口径;AI Agent想回答客户风险问题,却不知道该查哪张表、该用哪个字段、是否有权访问、结果是否可信。

这些问题说明,企业过去解决的更多是数据能不能交付出去,而不是数据能力能不能沉淀下来”。

一次报表、一次导出、一张宽表,解决的是这次能不能拿到数据;一个数据API,解决的是系统能不能通过接口调到数据。但这些方式并不天然保证字段含义统一、指标口径一致、权限规则在线、质量状态可见、血缘路径可追溯,也不保证下一次类似需求可以直接复用。

所以,企业真正需要的不是更多一次性数据结果,也不是更多点对点接口,而是一种可以被业务系统、分析工具和AI应用持续调用的数据能力。这正是利用Data Fabric构建数据服务的核心价值。

Data Fabric并不是简单把数据库表封装成API,也不是把已有报表换一种形式输出。它要做的是把分散在不同系统、不同平台、不同存储中的数据资产,通过虚拟访问连接起来,通过语义层解释清楚,通过治理策略控制使用,通过质量规则保障可信,再通过服务化方式交付给业务、分析和AI应用。

换句话说,传统数据结果交付的是这一次的数据“,传统数据API交付的是”一个可调用接口“,而基于Data Fabric的数据服务交付的是”可以持续复用、统一治理、可解释、可追溯的数据能力“。

这也是Data Fabric数据服务与传统数据API最大的区别:它不是增加一个新的数据出口,而是把数据从一次性交付和点对点调用,升级为面向多场景持续复用的数据能力体系。

图片
图1数据交付形态的演进

一、企业数据使用的主要矛盾,正在从“拿不到数据”转向“数据能力难以复用”

过去,很多企业数据建设的核心矛盾是数据拿不到。数据散落在不同业务系统中,系统之间没有打通,业务人员要做分析,只能找数据团队临时取数。这个阶段,数据建设的重点是把数据抽出来、汇总起来、展示出来。所以,报表、宽表、数据导出和数据集市发挥了很大作用。它们让业务人员能看到数据,也让管理层能基于数据做决策。

但随着企业数据应用不断深入,新的问题开始出现:一个业务部门做过一次客户分析,另一个业务部门过段时间还要再做一次;一个系统开发过一个客户接口,另一个系统又要开发一个类似接口;一个指标在经营分析里用了一套口径,在财务报表里又换了一套口径;一个字段在订单系统里代表购买人,在会员系统里代表注册人,在客服系统里又被理解成联系人。

这时,问题已经不只是”有没有数据“,而是”数据能不能被正确复用“。如果每一次使用数据都要重新取数、重新拼表、重新解释字段、重新确认口径、重新配置权限,那么企业虽然拥有很多数据,但并没有形成可持续复用的数据能力。

数据越多,反而可能带来更多重复建设。一份客户数据被多个系统重复加工,一个销售指标被多个报表重复计算,一个接口被多个应用重复开发,一个字段在不同团队之间反复解释。最终,企业沉淀下来的不是统一的数据能力,而是一堆报表、一堆宽表、一堆接口和一堆口径不完全一致的数据结果。

因此,利用Data Fabric构建数据服务,首先要解决的不是”再多做几个API”,而是回答一个更底层的问题:企业如何把反复使用的数据,从一次性结果和点对点接口,沉淀为可以被多个场景持续调用的数据能力?

二、传统数据结果和传统数据 API,只是完成了数据交付的前两个阶段

企业数据交付大致可以分成三个阶段。第一个阶段是交付数据结果。业务提出一个需求,数据团队查询数据、加工数据,然后交付一份结果。这份结果可能是一张Excel、一张报表、一张宽表、一个查询结果,也可能是一个临时数据集。

这种方式的优势是响应快。运营团队要分析客户复购,数据团队可以导出客户信息、订单记录和消费金额;管理层要看季度经营情况,BI团队可以制作销售额、毛利率和渠道贡献报表;风控团队要识别高风险客户,数据人员可以加工一张包含交易行为、逾期记录和风险标签的宽表。

但它的局限也很明显。它交付的是“这一次的数据结果”。这次需求结束后,结果可能被复制、转发、二次加工。下一次类似需求出现时,仍然可能重新取数、重新加工、重新解释字段、重新确认口径。也就是说,数据结果解决的是“这一次能不能拿到数据”,但没有解决“下一次能不能稳定复用”。

第二个阶段是交付数据接口。相比Excel、报表和宽表,数据API已经向前走了一步。它让系统可以通过接口自动调用数据,不再完全依赖人工导出和手工传递。业务系统可以调用客户信息API,运营系统可以调用订单API,外部应用可以调用产品库存API系统也可以通过接口获取指标数据。数据API解决的是“系统能不能调到数据。但很多传统数据API仍然是围绕底层系统、数据库表或固定查询开发的。接口文档会说明请求参数、返回字段和调用方式,但字段背后的业务含义、指标口径、数据质量状态、血缘来源和治理规则,未必真正进入接口调用过程。

例如,一个客户信息API可以返回客户编号、客户等级、手机号、注册时间和最近购买日期。表面上看,调用方已经拿到了数据。但调用方仍然需要继续理解:客户等级是按什么规则计算的?手机号是否需要脱敏?最近购买日期来自订单系统还是会员系统?数据今天是否已经更新?不同角色调用时是否应该返回同样的数据粒度?

如果这些问题没有被服务本身解决,API只是把数据从数据库传递到了应用系统,并没有把数据变成真正可复用、可治理、可解释的数据能力。更麻烦的是,传统API还容易形成新的接口烟囱。一个系统需要客户数据,就开发一个客户接口;另一个系统也需要客户数据,又开发一个类似接口;第三个系统需要多几个字段,再开发一个变体接口。时间久了,接口数量越来越多,字段定义不一致,权限规则分散配置,服务治理越来越复杂。

所以,传统数据结果和传统数据API并不是没有价值,它们只是分别完成了数据交付的前两个阶段:数据结果解决拿到数据,数据API解决调到数据,而Data Fabric数据服务要进一步解决的是“可信、受控、可解释、可持续地复用数据能力”。

三、Data Fabric 数据服务的关键,是把数据连同语义、治理、质量和血缘一起交付

基于 Data Fabric 的数据服务,不是简单把 SQL 包装成接口,也不是把底层表直接暴露给应用。它的核心,是把底层数据资产经过语义封装、虚拟访问、治理绑定、质量校验和服务编排之后,形成可以被业务系统、分析工具和 AI 应用持续调用的数据能力。

这里需要把可复用数据能力讲清楚。可复用数据能力,并不是简单让一份数据被多个系统重复读取,而是指数据已经被组织成稳定的数据服务,并且服务中同时包含业务语义、指标口径、访问路径、权限规则、脱敏策略、质量状态、血缘关系和审计记录。

也就是说,复用的不只是数据本身,还包括围绕数据形成的一整套业务理解、使用规则和治理机制。

客户画像服务为例。传统方式下,营销系统需要客户数据,可能自己取客户基础信息和订单行为;客服系统需要客户历史,可能再开发一个客户查询接口;经营分析系统需要客户价值,可能重新加工客户宽表;AI Agent 需要回答客户风险问题,又要重新判断哪些字段可用、哪些数据可信、哪些内容需要脱敏。

这些系统都在使用客户数据,但它们并没有共享同一个客户数据能力

如果基于 Data Fabric 构建客户画像服务,情况就不一样了。客户画像服务不是简单返回一张客户表,而是把客户基础信息、订单行为、渠道来源、风险标签、服务记录等数据,按照统一的客户对象组织起来;同时绑定访问权限、动态脱敏、质量校验、血缘追踪和调用审计。

这样,营销系统可以调用它做客户分群,客服系统可以调用它了解客户历史,经营分析系统可以调用它分析客户价值,AI Agent 也可以调用它生成客户洞察。不同系统调用的是同一类客户数据能力,而不是各自重新取数、重新拼表、重新解释字段、重新配置治理规则。

这就是 Data Fabric 数据服务区别于传统数据 API 的关键。传统数据结果是给你一份数据,传统数据 API 给你一个接口Data Fabric 数据服务是给你一个可以持续调用的数据能力

它不只是让数据可以被调用,更重要的是让数据在被调用时具备清晰语义、统一口径、质量保障、权限控制、血缘追踪和审计反馈。

图 2 可复用数据能力的组成

四、传统数据结果、传统数据 API 与 Data Fabric 数据服务的差异,本质上是交付层级的差异

要理解 Data Fabric 数据服务,不能只把它和传统 API 做技术层面的比较。更准确地说,传统数据结果、传统数据 API Data Fabric 数据服务,代表了三种不同的数据交付层级。

传统数据结果强调交付结果。传统数据 API 强调交付接口Data Fabric 数据服务强调交付能力

传统数据结果通常面向某个具体需求。它的交付形态是报表、Excel、宽表或查询结果。它可以解决眼前问题,但很难持续复用。

传统数据 API 通常面向系统集成。它的交付形态是接口地址、请求参数和返回字段。它可以让系统自动调用数据,但仍然可能依赖接口文档解释字段,治理和质量也经常在服务外部处理。

Data Fabric 数据服务则面向业务对象、指标口径和场景能力。它的交付形态可以是数据 API、指标服务、对象服务、特征服务、知识服务等。它不仅返回数据,还把语义、治理、质量、血缘和审计一起纳入服务过程。

从设计起点看,传统数据结果往往从具体取数需求出发,传统数据 API 往往从底层系统或固定查询出发,而 Data Fabric 数据服务应该从业务对象、指标口径和业务场景出发。

从复用方式看,传统数据结果通常靠复制结果或重复加工复用,传统 API 通常靠开发相似接口复用,而 Data Fabric 数据服务是把统一服务沉淀下来,被多个应用、多个系统和多个 AI 工具持续调用。

从治理方式看,传统数据结果常常在使用后补充检查,传统 API 多在接口层做鉴权,而 Data Fabric 数据服务则把权限、脱敏、质量、血缘和审计随服务一起生效。

AI 支撑看,传统数据结果会让 AI 难以判断字段含义和数据质量,传统 API 会让 AI 依赖接口文档理解调用方式,而 Data Fabric 数据服务可以让 AI 面向语义化、可治理、可追溯的数据能力进行调用。

所以,Data Fabric 数据服务不是更复杂的 API”,而是更高层级的数据交付方式。它真正改变的不是接口形式,而是数据如何从一次性交付、点对点调用,转向面向多场景的能力沉淀。

图 3 传统数据结果、传统数据 API 与 Data Fabric 数据服务的差异和能力交付。

五、Data Fabric 数据服务不是单独的 API 层,而是多层能力共同支撑的数据能力体系

利用 Data Fabric 构建数据服务,不能只从接口层理解。如果只在底层数据表外面套一层 API,那么它仍然是传统数据接口。真正的 Data Fabric 数据服务,是由多层能力共同支撑的。

最底层是多源数据源。企业数据可能分布在业务数据库、数据仓库、数据湖、文件系统、日志系统、消息流、APISaaS 系统和外部开放数据中。这些数据源结构不同、更新频率不同、管理方式不同,不能简单要求它们都先搬到一个地方。

在多源数据之上,需要虚拟数据层提供统一访问能力。它负责屏蔽底层系统差异,处理跨源访问、查询编排、路由优化、缓存加速和访问适配。这样,上层数据服务不必直接绑定某一张物理表,也不必关心数据到底来自数据库、数据湖还是外部 API

再往上,是治理与策略层。它负责权限控制、动态脱敏、质量校验、血缘追踪、审计记录和策略执行。数据服务不是只返回结果,还要在调用过程中判断谁能访问、能看什么、是否需要脱敏、质量是否达标、调用是否需要记录。

语义层则负责把底层字段和技术对象转化为业务对象、指标口径和场景语义。没有语义层,数据服务很容易退化成字段接口;有了语义层,服务才可以围绕客户、订单、产品、合同、设备、指标和场景来组织。

在这些能力之上,才是数据服务层。它面向业务应用、BI 分析、模型服务和 AI Agent 输出数据 API、指标服务、对象服务、特征服务、知识服务、订阅服务等不同形态。

最后,应用与消费层通过服务目录、API 网关、应用集成、AI 工具调用等方式使用这些数据服务。

这说明,Data Fabric 数据服务不是单独的 API 层,而是由多源访问、语义建模、治理策略、质量控制和主动元数据共同支撑的数据能力体系。

图 4 基于 Data Fabric 的数据服务总体架构

六、利用 Data Fabric 构建数据服务,本质上是把数据资产转化为服务能力

基于 Data Fabric 构建数据服务,不能只理解为开发接口。如果只是把一张表包装成 API,那么它仍然是传统数据接口。Data Fabric 数据服务真正要完成的,是把底层数据资产转化为面向业务场景的数据能力。

这个转化过程首先依赖主动元数据。主动元数据可以帮助企业判断哪些数据值得被服务化:哪些数据被频繁访问,哪些指标被多个系统反复调用,哪些字段经常一起出现,哪些数据质量相对稳定,哪些数据有明确负责人和治理状态。只有识别出高价值、高复用、高可信的数据资产,后续服务化才有意义。

在确定服务化对象之后,语义层需要把底层字段转化为业务对象和指标口径。数据服务不能只是返回 cust_idorder_amtpay_time 这样的字段,而要明确这些字段对应的是客户、订单、支付行为,还是收入确认口径。否则,服务虽然可以被调用,但调用方仍然需要自己理解字段含义,数据服务就会退回到普通 API

虚拟数据层解决的是另一个问题:数据服务不能被某一张物理表锁死。一个客户画像服务可能同时依赖客户主数据、订单系统、渠道系统、客服系统和风险标签库。如果每个服务都直接绑定底层表,服务会随着底层系统变化而频繁调整。通过虚拟数据层,Data Fabric 可以在不强制搬运所有数据的情况下,为上层服务提供统一逻辑访问路径。

治理嵌入则决定了数据服务是否真正可信。一个数据服务不仅要回答返回什么数据,还要回答谁可以调用、能看到什么粒度、是否需要脱敏、能否导出、是否需要审批、调用过程是否审计。这些规则如果放在服务外部,就很容易在不同应用中执行不一致;只有随服务一起生效,数据服务才真正具备企业级使用能力。

质量校验让数据服务不只是有结果,而是结果可信。当上游数据延迟、字段异常、质量评分低于阈值时,服务应该能够提示风险、限制输出,甚至暂停调用。这样,调用方拿到的不只是数据结果,还能知道这个结果是否可靠。

最后,服务发布、调用监控和反馈优化让数据服务进入持续运营阶段。服务发布后,主动元数据会继续记录调用频率、性能状态、失败率、异常行为和用户反馈。这些信息又会反过来推动服务合并、缓存优化、口径修正、权限调整和质量规则升级。

因此,利用 Data Fabric 构建数据服务的过程,本质上不是接口开发过程,而是一个从数据资产识别、语义封装、虚拟访问、治理绑定、质量保障到持续运营的能力沉淀过程。

图 5 利用 Data Fabric 构建数据服务的技术路径

七、AI 应用让数据服务化变得更重要,因为 AI 不能直接面对混乱的底层数据

AI 应用的发展,让数据服务的重要性进一步提高。传统 BI 或报表通常由人来选择数据、理解字段、编写查询和判断结果。而 AI Agent 可能会自动理解问题、选择数据、调用服务、生成分析结论。

这意味着,AI 对数据服务的要求更高。如果 AI 直接访问原始数据库,它会面临很多问题:不知道应该查哪张表,不知道字段是什么意思,不知道指标口径是否正确,不知道用户是否有权访问,不知道字段是否需要脱敏,不知道数据质量是否可靠,也不知道结果是否可以追溯。

这些问题如果交给 AI 自己判断,风险很高。

基于 Data Fabric 的数据服务,可以把这些问题前置解决。AI 不需要直接面对混乱的底层表结构,而是调用经过语义封装、治理约束、质量校验和审计追踪的数据服务。

例如,AI 可以调用客户画像服务、经营指标服务、订单分析服务、知识检索服务、风险识别服务和模型特征服务。每个服务都已经定义了业务语义、输入输出、权限范围、质量规则和审计要求。

这样,AI 调用数据时,就不是在自由访问原始数据,而是在治理约束下调用可信数据服务。

这对于企业 AI 非常重要。因为企业 AI 的关键不只是能回答问题,更要保证回答所依据的数据来源清楚、口径一致、权限合规、质量可信、过程可审计。

从这个角度看,Data Fabric 数据服务不是 AI 应用的附加能力,而是企业 AI 能否稳定落地的重要前提。

图 6 AI 应用调用 Data Fabric 数据服务的过程

八、利用 Data Fabric 构建数据服务,最终是把企业数据建设从“交付结果”推向“沉淀能力”

利用 Data Fabric 构建数据服务,本质上是企业数据交付方式的一次升级。

传统数据结果解决的是这一次把数据拿到。传统数据 API 解决的是系统可以通过接口调用数据。基于 Data Fabric 的数据服务解决的是数据能力可以被持续、可信、受控、可解释地复用

这也是 Data Fabric 在企业数据架构中的重要价值。主动元数据让 Data Fabric 知道哪些数据值得服务化,虚拟数据层让服务可以跨源访问数据,语义层让服务具备业务含义,治理嵌入让服务调用过程可控可信。

最终,Data Fabric 把数据从表、字段、报表和接口,转化为面向业务、应用和 AI 的可复用数据服务。

利用 Data Fabric 构建数据服务与传统数据 API 最大的区别,不是增加一个新的数据出口,而是构建一套能够持续被调用、被治理、被解释和被优化的数据能力体系。

企业数据建设的重点,也会因此发生变化:不再只是交付更多报表,而是沉淀统一指标服务;不再只是开发更多接口,而是沉淀业务对象服务;不再只是让系统拿到数据,而是让系统可信调用数据;不再只是让 AI 访问数据,而是让 AI 调用可解释、可审计、可治理的数据能力。

这才是利用 Data Fabric 构建数据服务真正要实现的目标。

END——关于我们

← 返回资讯动态