一种大数据ETL动态划分时间片的数据抽取方法
基本信息
| 申请号 | CN201610456782.9 | 申请日 | - |
| 公开（公告）号 | CN106126612A | 公开（公告）日 | 2016-11-16 |
| 申请公布号 | CN106126612A | 申请公布日 | 2016-11-16 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 马昭德;李建;张韬;何荣;夏秋 | 申请（专利权）人 | 重庆秒银科技有限公司 |
| 代理机构 | 重庆博凯知识产权代理有限公司 | 代理人 | 重庆秒银科技有限公司 |
| 地址 | 400039 重庆市九龙坡区科城路71号、71号附1号二郎留学生创业园D3栋7楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供的大数据ETL动态划分时间片的数据抽取方法，首先设定系统的基准耗时并初始化系统的分片时间，然后启动系统循环执行数据抽取；系统在执行完一次数据抽取后，如果系统当前实时耗时和基准耗时的差值大于预设阈值时，系统根据当前分片时间、基准耗时和当前实时耗时调整下一次分片时间，并根据下一次分片时间执行下一次数据抽取；如果系统当前实时耗时和基准耗时的差值小于或等于预设阈值时，系统保持当前的分片时间，并根据当前分片时间执行下一次数据抽取，该方法能够动态划分时间片，使得下一次数据抽取的实时耗时和基准耗时趋于平稳，提高了数据抽取的效率。 |
