一种Janusgraph数据快速批量装载的方法专利查询专利号|摘要-满商公司网

一种Janusgraph数据快速批量装载的方法

基本信息

申请号	CN202111267971.9	申请日	-
公开（公告）号	CN114138735A	公开（公告）日	2022-03-04
申请公布号	CN114138735A	申请公布日	2022-03-04
分类号	G06F16/182;G06F16/901	分类	计算；推算；计数;
发明人	马杲灵;游飞龙;张林林;汪睿铭;陈雪;石尧;董博;廖海峰	申请（专利权）人	贵州数联铭品科技有限公司
代理机构	北京市领专知识产权代理有限公司	代理人	王莹莹
地址	550002 贵州省贵阳市南明区龙洞堡电子商务港A栋2单元9层7号
法律状态	-

摘要

本发明涉及一种Janusgraph数据快速批量装载的方法，包括步骤：数据准备阶段：将需要批量装入图的顶点和边的数据保存到Hive表进行分片存储，以便于Spark计算引擎进行并行读取，并创建Janusgraph待装载图数据的Schema结构，以及配置Hive表与Schema结构的映射关系；HBase数据装载阶段：使用Spark计算引擎并行读取Hive表中的顶点与边，按照Janusgraph在HBase数据库中的存储结构与编码方式构建RDD数据集，并将RDD数据集以HFile文件形式装载到Janusgraph存储对应的HBase数据库中；Elasticsearch索引构建阶段：使用Spark计算引擎并行读取Hive表中的顶点与边，抽取需要索引的顶点或边的属性，按照Janusgraph在Elasticsearch索引的存储结构构建RDD数据集，并将RDD数据集并行写入到Elasticsearch索引。