一种实现Hbase二级索引的方法
基本信息
| 申请号 | CN202010772018.9 | 申请日 | - |
| 公开（公告）号 | CN111984756A | 公开（公告）日 | 2020-11-24 |
| 申请公布号 | CN111984756A | 申请公布日 | 2020-11-24 |
| 分类号 | G06F16/31(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 母延年;于昆鹏;陈雨;孙国良 | 申请（专利权）人 | 南京好鱼科技有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210000江苏省南京市江宁区董村路39号2幢天琪科技大厦706室(江宁开发区) | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及大数据查询处理技术领域，具体公开了一种实现Hbase二级索引的方法，包括如下步骤，S1：Hbase store中进行扩展，在原先存储结构的基础上扩展一层lucene索引，lucene索引与MemStore和StoreFile位于同一个进程内，不需要跨进程交互；S2：将lucene作为对Hfile的补充，与Hbase上层写入对接，写入Hfile或MemStore的同时也会将数据写入到lucene，且lucene索引也会随着store的逻辑进行合并或拆分操作；S3：lucene的存储与Hfile一样，基于HDFS存储，存储规则与HDFS相同，基于表名，列簇，regin分散在不同的HDFS目录上；S4：查询时，结合scan根据不同的查询，自动适配查询，原有的逻辑转发到lucene之上，借助lucene实现Hbase二级索引的功能；本发明补足了Hbase只能做KV查询的局限性，使得Hbase既有KV查询性能，又有lucene全文检索、多维筛选的特性。 |
