一种基于地理散列的空间分布式存储优化方法

基本信息

申请号 CN202110429829.3 申请日 -
公开(公告)号 CN113093998A 公开(公告)日 2021-07-09
申请公布号 CN113093998A 申请公布日 2021-07-09
分类号 G06F3/06(2006.01)I;G06F16/13(2019.01)I;G06F16/14(2019.01)I;G06F16/182(2019.01)I 分类 计算;推算;计数;
发明人 冯文涛;朱与墨;孙伟;吴丹;田鹏飞 申请(专利权)人 亿景智联(北京)科技有限公司
代理机构 南京鼎傲知识产权代理事务所(普通合伙) 代理人 刘蔼民
地址 100085北京市海淀区上地信息产业基地创业路6号3层3015
法律状态 -

摘要

摘要 本发明公开了一种基于地理散列的空间分布式存储优化方法,包括如下步骤:S1、使用构建无序地理哈希散列来构建rowkey;S2、依据hash关系与原有数据进行归属关联构建,将原有空间数据进行地理映射,利用映射散列的地理区域切分,运用已切分地理散列区域构建region预分区,使hbase中节点负载均匀;本发明集成大数据空间存储技术与地理编码技术,通过地理散列与hbase预分区方案,二者相结合,完美构建空间大数据存储方案,依据预生成的region,提升hbase数仓的吞吐效率,再配合地理散列,使写入数据都能按规划地理区间均匀命中这些预建region,极大程度上避免了以上众多缺点,使存储查询性能大大提升。