非关系型数据库HBase的数据迁移方法

基本信息

申请号 CN201310421176.X 申请日 -
公开(公告)号 CN103514274A 公开(公告)日 2014-01-15
申请公布号 CN103514274A 申请公布日 2014-01-15
分类号 G06F17/30(2006.01)I 分类 计算;推算;计数;
发明人 贝毅君;唐宏波;王丞淼;王宽 申请(专利权)人 宁波东冠科技有限公司
代理机构 宁波市鄞州甬致专利代理事务所(普通合伙) 代理人 宁波东冠科技有限公司
地址 315105 浙江省宁波市鄞州区中河街道孙马村
法律状态 -

摘要

摘要 本发明公开了一种非关系型数据库HBase的数据迁移方法。本发明通过读取用户的配置文件信息,将用户指定时间段内的数据从旧的HBase集群中迁移到新的HBase集群中,使用该方法具有以下优点:第一、通过设计RowKey,将数据的组别信息、时间信息体现在RowKey上,数据迁移时扫描RowKey,可直接辨别出该RowKey对应的数据是否在用户指定的迁移时间范围内;第二、以组别作为数据迁移单位,每个组别作为一个检查点,当发生异常情况时,可以将新旧集群之间不同步的数据的范围严格控制在一个组别内,减少恢复数据同步所需的时间;第三、在数据迁移过程中记录日志信息,用于处理数据迁移过程中的异常情况,确保新旧集群之间数据的同步,能够准确、高效的完成HBase集群间的数据迁移。