一种基于Binlog+HBase+Hive的大数据同步方法和装置
基本信息
| 申请号 | 2020115454163 | 申请日 | - |
| 公开（公告）号 | CN112286941A | 公开（公告）日 | 2021-01-29 |
| 申请公布号 | CN112286941A | 申请公布日 | 2021-01-29 |
| 分类号 | G06F16/22(2019.01)I; | 分类 | 计算；推算；计数; |
| 发明人 | 吴凡 | 申请（专利权）人 | 武汉物易云通网络科技有限公司 |
| 代理机构 | 深圳市六加知识产权代理有限公司 | 代理人 | 崔肖肖;向彬 |
| 地址 | 430000湖北省武汉市东湖新技术开发区光谷大道77号金融后台服务中心一期A3栋12层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及数据库技术领域，提供了一种基于Binlog+HBase+Hive的大数据同步方法和装置。方法包括监听关系型数据库中Binlog日志文件，获取实时变化的数据；数据同步装置获取Binlog日志文件数据后，解析并获取数据库名，表名，操作类型，主键，所有字段值；在HBase中存储Binlog日志文件数据时，对应以数据库名称作为HBase表的命名空间，建表；使用主键作为HBase数据记录的rowkey，以便于数据库记录的所有变化，都通过rowkey找到HBase的对应记录进行数据覆盖更新。本发明实时表中不保留历史全量数据，数据量小，查询实时数据速度快。 |
