一种数据关联方法、装置、服务器及存储介质
基本信息
申请号 | CN202110473018.3 | 申请日 | - |
公开(公告)号 | CN113518365A | 公开(公告)日 | 2021-10-19 |
申请公布号 | CN113518365A | 申请公布日 | 2021-10-19 |
分类号 | H04W24/04(2009.01)I;H04W4/20(2018.01)I;H04W24/08(2009.01)I | 分类 | 电通信技术; |
发明人 | 向阳;刘亮;林昀 | 申请(专利权)人 | 北京红山信息科技研究院有限公司 |
代理机构 | 北京品源专利代理有限公司 | 代理人 | 潘登 |
地址 | 100176北京市大兴区北京经济技术开发区荣华中路22号1号楼31层3101 | ||
法律状态 | - |
摘要
摘要 | 本发明实施例公开了一种数据关联方法、装置、服务器及存储介质。该方法包括:采用flume进行日志采集,接入信令数据和无线数据;将信令数据和无线数据存入kafka集群中,同时将信令数据和无线数据分流写入hbase和hive集群中;通过flink关联信令数据和无线数据,将得到的关联数据分流写入hbase和hive集群中,其中,关联字段是以信令数据和无线数据中相同的基站信息作为关联字段,以信令数据的时间戳作为起始时间点,业务持续时间作为时间段,在无线数据中寻找符合关联条件的数据。本发明实施例的技术方案,通过实时关联计算,保障两个数据的有效关联,即使其中一条或多条数据延时,在保障数据处理性能及时效性的同时,也能够保障延时到达的数据被有效处理。 |
