一种用于探测HIVE数据库数据血缘的方法及系统
基本信息
| 申请号 | CN202110211183.1 | 申请日 | - |
| 公开（公告）号 | CN112925777A | 公开（公告）日 | 2021-06-08 |
| 申请公布号 | CN112925777A | 申请公布日 | 2021-06-08 |
| 分类号 | G06F16/215;G06F16/248;G06F16/28 | 分类 | 计算；推算；计数; |
| 发明人 | 苏瑀;陈筱进;刘登贺;张世杰 | 申请（专利权）人 | 吉林亿联银行股份有限公司 |
| 代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 钱娜 |
| 地址 | 130000 吉林省长春市南关区人民大街10606号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种用于探测HIVE数据库数据血缘的方法及系统，方法包括：配置LineageLogger Hook功能；基于LineageLogger Hook功能对HiveSql进行解析，生成hive.log日志；对hive.log日志进行数据清洗形成JOIN格式，并将清洗后的数据数据导入至开源图数据库neo4j；利用neo4j接口查询字段之间的依赖关系；调用图数据库neo4j API接口，解析JSON串，将数据血缘进行可视化显示。本发明能够有效的完成各个数据表、字段之间的数据血缘关系的分析和梳理。 |
