一种可保持janusGraph数据一致性的分布式高效并行加载方法专利查询专利号|摘要-满商公司网

一种可保持janusGraph数据一致性的分布式高效并行加载方法

基本信息

申请号	CN202011622773.5	申请日	-
公开（公告）号	CN112685419B	公开（公告）日	2021-09-10
申请公布号	CN112685419B	申请公布日	2021-09-10
分类号	G06F16/22;G06F16/23;G06F16/2458;G06F16/27;G06F9/54	分类	计算；推算；计数;
发明人	谢铭;蒲路;孟宪文	申请（专利权）人	北京赛思信安技术股份有限公司
代理机构	北京永创新实专利事务所	代理人	易卜
地址	100125 北京市朝阳区霞光里8号承冀诚大厦二层
法律状态	-

摘要

本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法，属于分布式图数据库领域，首先构建分布式结构；创建两个空的分布式队列；然后，实时接收数据并解析后存入队列一中；数据处理模块逐条取出，调用分布式索引模块中存在对应ID的数据加载到图数据库中，并将无法调用ID的点的唯一标志存入队列二中，点处理模块判断能否获取各标志对应的ID，如果能，则继续获取下一个进行判断；否则，将各标志加载到图数据库中，并产生对应的ID；同时将S与ID的对应关系保存；集群管理模块找寻主节点，并对各子节点分发任务，各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。