基于Presto的动态数据处理方法及跨库查询方法
基本信息
申请号 | CN202011210164.9 | 申请日 | - |
公开(公告)号 | CN112364047A | 公开(公告)日 | 2021-02-12 |
申请公布号 | CN112364047A | 申请公布日 | 2021-02-12 |
分类号 | G06F16/242(2019.01)I; | 分类 | 计算;推算;计数; |
发明人 | 李钊;孙浩;孙露;杨春;魏静;胡传会;陈通 | 申请(专利权)人 | 山东山科知识产权运营中心有限公司 |
代理机构 | 济南圣达知识产权代理有限公司 | 代理人 | 祖之强 |
地址 | 250014山东省济南市高新区新泺大街2008号银荷大厦B座3层 | ||
法律状态 | - |
摘要
摘要 | 本公开提供了一种基于Presto的动态数据处理方法及跨库查询方法,所述跨库查询方法包括以下步骤:采用至少一种数据库类型进行数据源信息存储,指定自定义表;使用CANAL组件对自定义表进行监听,实时获取数据源注册信息;对数据源注册表的添加、删除或修改的信息通过CANAL传递给Presto并转化为Presto能够识别的catalogConfig格式;通过得到的catalogConfig格式的数据,动态实现Presto的数据源增加或删除或修改;本公开支持Presto通过jdbc的方式使用ANSI_SQL的方式来对多源异构数据进行查询,解决了对存储在不同数据结构上的数据融合处理问题,提高了跨库数据查询和处理的效率。 |
