一种多源数据处理方法、系统、设备及可读存储介质
基本信息
| 申请号 | CN202110038323.X | 申请日 | - |
| 公开（公告）号 | CN112734525A | 公开（公告）日 | 2021-04-30 |
| 申请公布号 | CN112734525A | 申请公布日 | 2021-04-30 |
| 分类号 | G06Q30/06;G06F16/21;G06F16/215;G06F16/25 | 分类 | 计算；推算；计数; |
| 发明人 | 尚熠龙;沈党云;赵宪泽 | 申请（专利权）人 | 中交智运有限公司 |
| 代理机构 | 北京知呱呱知识产权代理有限公司 | 代理人 | 彭伶俐 |
| 地址 | 300210 天津市河西区黑牛城道13号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请实施例公开了一种多源数据处理方法、系统、设备及可读存储介质，每个数据处理任务依次在每个stage中流转，不同的stage并行处理不同的任务；基于每个数据处理任务，采集器DC根据数据处理任务对接对应的各个数据源，并将采集到的原始数据发送至档案收集器AE；档案收集器AE通过维度的转换将所述原始数据变更成以主体标识为标识的组织方式，并根据基本规则对所述原始数据进行过滤，根据数据规格将过滤后的数据整理为数据集合，以使得数据以相同的格式存储在档案库AR中；报告生成器RG根据设定的取舍规则处理所述数据集合，输出目标数据产出。避免多源数据差距过大对后续流程造成的困扰，尽可能的减少了因为需求变化导致的代码变更以及重新上线部署。 |
