一种数据关联方法、装置、服务器及存储介质

基本信息

申请号 CN202110473018.3 申请日 -
公开(公告)号 CN113518365A 公开(公告)日 2021-10-19
申请公布号 CN113518365A 申请公布日 2021-10-19
分类号 H04W24/04(2009.01)I;H04W4/20(2018.01)I;H04W24/08(2009.01)I 分类 电通信技术;
发明人 向阳;刘亮;林昀 申请(专利权)人 北京红山信息科技研究院有限公司
代理机构 北京品源专利代理有限公司 代理人 潘登
地址 100176北京市大兴区北京经济技术开发区荣华中路22号1号楼31层3101
法律状态 -

摘要

摘要 本发明实施例公开了一种数据关联方法、装置、服务器及存储介质。该方法包括:采用flume进行日志采集,接入信令数据和无线数据;将信令数据和无线数据存入kafka集群中,同时将信令数据和无线数据分流写入hbase和hive集群中;通过flink关联信令数据和无线数据,将得到的关联数据分流写入hbase和hive集群中,其中,关联字段是以信令数据和无线数据中相同的基站信息作为关联字段,以信令数据的时间戳作为起始时间点,业务持续时间作为时间段,在无线数据中寻找符合关联条件的数据。本发明实施例的技术方案,通过实时关联计算,保障两个数据的有效关联,即使其中一条或多条数据延时,在保障数据处理性能及时效性的同时,也能够保障延时到达的数据被有效处理。