基于Storm的实时数据比对预警方法及系统专利查询专利号|摘要-满商公司网

基于Storm的实时数据比对预警方法及系统

基本信息

申请号	CN201810803452.1	申请日	-
公开（公告）号	CN110750562A	公开（公告）日	2020-02-04
申请公布号	CN110750562A	申请公布日	2020-02-04
分类号	G06F16/2455;G06F16/2458;G06F16/28;G06F16/25	分类	计算；推算；计数;
发明人	李巍;柳庆;张舟	申请（专利权）人	武汉烽火众智智慧之星科技有限公司
代理机构	北京汇泽知识产权代理有限公司	代理人	程殿军
地址	430035 湖北省武汉市硚口区长丰乡长升路10号4号楼401室
法律状态	-

摘要

本发明提供了一种基于Storm的实时数据比对预警方法及系统，该方法包括以下步骤：S1、将来自多种数据源的实时多维数据进行数据清洗和标准化后，以json数据格式按不同数据源分主题发送至分布式Kafka消息队列；S2、将数据比对规则存储在RDBMS；S3、从RDBMS加载比对规则到内存，利用Storm集群技术，将Kafka集群中的实时多维数据与内存中的比对规则进行比对碰撞，并新建Kafka主题存放实时比对的预警结果；S4、消费Kafka预警结果主题，将结果写入RDBMS，通过查询接口接收查询请求，进行预警展示。本发明不受数据源的限制，适用于不同来源的实时数据接入；提高了系统稳定性；提升整个业务场景下数据处理的性能，保证实时数据的低延迟比对预警。