大数据采集任务的调度方法及装置

基本信息

申请号 CN201710019553.5 申请日 -
公开(公告)号 CN106790642A 公开(公告)日 2017-05-31
申请公布号 CN106790642A 申请公布日 2017-05-31
分类号 H04L29/08(2006.01)I 分类 电通信技术;
发明人 付资博;姚袁中;夏开明;陈琪琪 申请(专利权)人 深圳淞鑫金融服务科技发展有限公司
代理机构 北京超凡志成知识产权代理事务所(普通合伙) 代理人 张红平
地址 518000 广东省深圳市福田区街道金中环商务大厦2901室
法律状态 -

摘要

摘要 本申请提供了大数据采集任务的调度方法及装置,涉及数据处理领域,其中,大数据采集任务的调度方法包括中心服务器为大数据采集任务配置抵达参数、采集时长参数和截止时限参数,当抵达参数对应的时刻到达时,采集服务器执行该大数据采集任务,并判断采集时长参数是否到达预先设定的计时上限,若没有到达预先设定的计时上限,判断正在执行的第一大数据采集任务的截止时限参数是否小于当前到达抵达参数对应时刻的第二大数据采集任务的截止时限参数,当判断为是时,采集服务器继续执行第一大数据采集任务,再执行第二大数据采集任务;否则,采集服务器先执行第二大数据采集任务再执行第一大数据采集任务,从而能快速完成网络中的大数据采集。