数据处理方法、装置、电子设备及可读存储介质专利查询专利号|摘要-满商公司网

数据处理方法、装置、电子设备及可读存储介质

基本信息

申请号	CN202010133602.X	申请日	-
公开（公告）号	CN111339175A	公开（公告）日	2020-06-26
申请公布号	CN111339175A	申请公布日	2020-06-26
分类号	G06F16/25(2019.01)I	分类	-
发明人	刘奔	申请（专利权）人	成都运力科技有限公司
代理机构	北京超成律师事务所	代理人	孔默
地址	610000四川省成都市高新区中国(四川)自由贸易试验区天府大道中段1366号2栋4层22-31号
法律状态	-

摘要

本申请提供一种数据处理方法、装置、电子设备及可读存储介质，包括：获得多个原始数据；将多个原始数据发送到分布式消息队列Kafka；利用Flink从Kafka获取多个原始数据并进行ETL处理，获得多个整合数据，整合数据带有标签；按照每个整合数据的标签，将每个整合数据写入对应的数据库；从Kafka、Flink以及多个数据库对应的API接口收集监控数据，并对监控数据进行监控，其中，监控数据包括原始数据和整合数据。本申请实施例提供的数据处理方法可以利用Flink对原始数据进行ETL处理，且对整个数据处理流程的各个阶段产生的数据进行监控，对各个阶段产生的数据均进行监控，可以较好地把握数据在被处理过程中的变化情况，可以使得数据口径统一，且有利于保证数据的一致性。