一种基于Hbase协处理器的大数据实时索引方法专利查询专利号|摘要-满商公司网

一种基于Hbase协处理器的大数据实时索引方法

基本信息

申请号	CN201811081889.5	申请日	-
公开（公告）号	CN109471856A	公开（公告）日	2019-03-15
申请公布号	CN109471856A	申请公布日	2019-03-15
分类号	G06F16/22（2019.01）I; G06F16/24（2019.01）I; G06F16/2458（2019.01）N	分类	计算；推算；计数;
发明人	朱静轩; 吴问海; 章文友; 孟彦	申请（专利权）人	中新网络信息安全股份有限公司
代理机构	上海精晟知识产权代理有限公司	代理人	中新网络信息安全股份有限公司
地址	230088 安徽省合肥市高新区创新大道2688号中新网安大厦
法律状态	-

摘要

本发明涉及Hbase实时索引技术领域，具体涉及一种基于Hbase协处理器的大数据实时索引方法，包括对于需要索引的表，添加协处理器监听；针对Hbase中DDL、DML动作，定义相应动作的KEY；编写基于Hbase协处理器的动作监听代码，以及将Hbase中操作的数据序列化发送到kafka。本发明通过对Hbase的DML、DDL动作进行监听，及时感知到对hbase的表以及数据操作动作，对相应动作进行封装，并发送到kafka消息队列中，同时索引转换器能够对于kafka中的数据以及相应动作进行相应索引处理，将hbase的动作监听与数据索引写入程序进行解耦，避免数据读取和写入速度不一致，造成的资源等待占用资源的问题。