基于拖拽编排方式的流式数据处理系统及其处理方法

基本信息

申请号 CN202011228187.2 申请日 -
公开(公告)号 CN112328220A 公开(公告)日 2021-02-05
申请公布号 CN112328220A 申请公布日 2021-02-05
分类号 G06F8/20(2018.01)I;G06F8/34(2018.01)I 分类 计算;推算;计数;
发明人 马瑜 申请(专利权)人 江苏云坤信息科技有限公司
代理机构 北京同辉知识产权代理事务所(普通合伙) 代理人 廖娜
地址 215000江苏省苏州市工业园区崇文路199号B602
法律状态 -

摘要

摘要 本发明涉及一种基于拖拽编排方式的流式数据处理系统及其处理方法,包括有用于让用户处理业务流程的组件拖拽编排工具,用于解析用户使用组件拖拽编排工具构建的流处理流程的组件流程解析模块,用于管理流处理任务运行的任务调度管理模块,用于输入数据来源管理的数据源管理模块。将数据输入组件、数据处理组件、数据输出组件拖拽到编排面板构建流处理流程,并生成流处理任务流程的配置元数据,解析用户构建的流处理流程配置元数据,解析各个组件的配置、各组件之间的关系和组件的输入输出格式,通过flink的tableapi来实现各个组件的业务逻辑。由此,使用组件拖拽组装流处理流程,交互友好。低代码开发,使用门槛低,底层代码和上层业务解耦。