首页/ 北京亿欧网盟科技有限公司/ 专利详情

多关联实时数据流的乱序处理方法、装置、介质和设备

基本信息

申请号 CN202110839677.4 申请日 -
公开（公告）号 CN113515547A 公开（公告）日 2021-10-19
申请公布号 CN113515547A 申请公布日 2021-10-19
分类号 G06F16/2455（2019.01）I;G06F16/22（2019.01）I;G06F16/27（2019.01）I;G06F16/28（2019.01）I 分类 计算；推算；计数;
发明人 马明辉;王彬;宋建锋;张翼 申请（专利权）人 北京亿欧网盟科技有限公司
代理机构 北京智燃律师事务所 代理人 柴琳琳
地址 100125北京市朝阳区霞光里9号10层1001房间
法律状态 -

摘要

摘要 本发明提供多关联实时数据流的乱序处理方法、装置、介质和设备，该方法包括：实时监测数据库中主表和/或关联表的日志变化；当日志发生变化时，将主表变化记录和关联表变化记录以多分区方式并行写入消息列队的相应主题；获取主表和关联表的多分区数据流；将主表的业务主键加载到缓存区；获取业务外键，判断是否能从缓存区获取到对应的业务主键；如果能够获取到业务主键，则分别将主表和关联表的多分区数据流合并为单独分区数据流，根据指定字段对各单独分区数据流进行分组处理，针对每个分组的数据流进行排序处理，对每个分组的数据流进行消费，对消费后的数据流执行业务逻辑处理。该方法可在高并发的多关联数据流实时场景下解决出现的乱序。