首页/ 广州金融科技股份有限公司/ 专利详情

一种大数据处理流程的执行计划生成方法

基本信息

申请号 CN201910985525.8 申请日 -
公开（公告）号 CN110765163B 公开（公告）日 2020-02-07
申请公布号 CN110765163B 申请公布日 2020-02-07
分类号 G06F16/2455(2019.01)I 分类 计算；推算；计数;
发明人 袁思静 申请（专利权）人 广州金融科技股份有限公司
代理机构 广州粤高专利商标代理有限公司 代理人 单香杰
地址 511458广东省广州市南沙区海滨路171号南沙金融大厦11楼1101之一J41
法律状态 -

摘要

摘要 本发明实施例公开了一种大数据处理流程的执行计划生成方法，包括如下步骤：对每个数据采集终端匹配独立且唯一的数据传输路径；数据流以队列方式顺次通过数据传输路径进行数据预处理，定义字符串Data_ID参数统计通过数据传输路径的数据流数量；定义每个预处理流程的序号Manage_ID，数据流每通过一个处理流程，则数据流上新增表示处理流程序号的Manage_ID属性；对数据流的Manage_ID检测，判断数据处理的正确流程；每个数据流的独立数据上新增传输路径Port_ID属性和队列序号Data_ID属性；本方案既保证大数据处理过程中的统一性，又提供了大数据处理过程中的对比关联性。