一种多源数据实时聚合方法和系统
基本信息
| 申请号 | CN202111264739.X | 申请日 | - |
| 公开（公告）号 | CN114003628A | 公开（公告）日 | 2022-02-01 |
| 申请公布号 | CN114003628A | 申请公布日 | 2022-02-01 |
| 分类号 | G06F16/2455（2019.01）I;G06F16/242（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 洪志权;蔡昆颖;于崇刚;余彩福 | 申请（专利权）人 | 粤港澳国际供应链（广州）有限公司 |
| 代理机构 | 广东翰锐律师事务所 | 代理人 | 胡厚财 |
| 地址 | 510000广东省广州市南沙区港荣一街3号401-1房（仅限办公） | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请实施例公开了一种多源数据实时聚合方法和系统，其中方法包括：一种多源数据实时聚合方法，通过获取canal服务端从若干个来源库中批量获取指定数据库的binlog对象；对binlog对象进行批量处理：检查binlog对象的实体类型是否为结构变更类型，若是，则从binlog对象中获取原执行SQL，去掉库名并生成聚合库可执行SQL检查binlog对象的数据变更类型，并根据数据变更类型生成数据变更标准SQL；对binlog对象批量处理完毕后，将可执行SQL和/或标准SQL发送至聚合库，继而实现从N个来源库实时汇聚到聚合库，实现实时高效的多源数据聚合的目的。 |
