一种基于数据中台的数据开发方法

基本信息

申请号 CN202011594890.5 申请日 -
公开(公告)号 CN112711634A 公开(公告)日 2021-04-27
申请公布号 CN112711634A 申请公布日 2021-04-27
分类号 G06F16/27;G06F16/215;G06F16/25 分类 计算;推算;计数;
发明人 廖雅哲 申请(专利权)人 科技谷(厦门)信息技术有限公司
代理机构 厦门致群财富专利代理事务所(普通合伙) 代理人 刘兆庆;邓贵琴
地址 361000 福建省厦门市湖里区安岭二路88号A栋404室
法律状态 -

摘要

摘要 本发明公开了一种基于数据中台的数据开发方法,包括如下步骤:S1、数据源库通过中间传输载体FlinkX对接目标数据库;S2、FlinkX将所述数据源库中的数据周期性同步到目标数据库,并进行周期性清洗;S3、对所述数据进行存储计算转成数据表,所述离线数据的计算采用Spark计算引擎,所述实时数据的计算采用Flink计算引擎;S4、将计算后的数据表转化为数据API;S5、数据中台通过API网关发布数据API到API市场,或用户通过API网关直接调用数据API。本发明基于数据中台,将多种数据源的数据按离线数据和实时数据分别进行同步,然后转化成数据API,减少了开发人员的数据开发时间,降低了数据开发门槛、提高数据开发效率。