一种基于地理散列的空间分布式存储优化方法
基本信息
申请号 | CN202110429829.3 | 申请日 | - |
公开(公告)号 | CN113093998A | 公开(公告)日 | 2021-07-09 |
申请公布号 | CN113093998A | 申请公布日 | 2021-07-09 |
分类号 | G06F3/06(2006.01)I;G06F16/13(2019.01)I;G06F16/14(2019.01)I;G06F16/182(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 冯文涛;朱与墨;孙伟;吴丹;田鹏飞 | 申请(专利权)人 | 亿景智联(北京)科技有限公司 |
代理机构 | 南京鼎傲知识产权代理事务所(普通合伙) | 代理人 | 刘蔼民 |
地址 | 100085北京市海淀区上地信息产业基地创业路6号3层3015 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于地理散列的空间分布式存储优化方法,包括如下步骤:S1、使用构建无序地理哈希散列来构建rowkey;S2、依据hash关系与原有数据进行归属关联构建,将原有空间数据进行地理映射,利用映射散列的地理区域切分,运用已切分地理散列区域构建region预分区,使hbase中节点负载均匀;本发明集成大数据空间存储技术与地理编码技术,通过地理散列与hbase预分区方案,二者相结合,完美构建空间大数据存储方案,依据预生成的region,提升hbase数仓的吞吐效率,再配合地理散列,使写入数据都能按规划地理区间均匀命中这些预建region,极大程度上避免了以上众多缺点,使存储查询性能大大提升。 |
