一种基于HIVE的数据增量采集方法
基本信息
| 申请号 | CN202210368943.4 | 申请日 | - |
| 公开（公告）号 | CN114647641A | 公开（公告）日 | 2022-06-21 |
| 申请公布号 | CN114647641A | 申请公布日 | 2022-06-21 |
| 分类号 | G06F16/215（2019.01）I;G06F16/22（2019.01）I;G06F16/23（2019.01）I;G06F16/2458（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 郑士良;刘威宪;黎荣华;安宝;刘东东;林楠;陈文豪;张夏楠 | 申请（专利权）人 | 河钢数字技术股份有限公司 |
| 代理机构 | 石家庄知住优创知识产权代理事务所（普通合伙） | 代理人 | - |
| 地址 | 050000河北省石家庄市高新区黄河大道136号科技中心1号楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。 |
