一种基于大数据技术的分布式任务调度方法
基本信息
申请号 | CN202010939553.9 | 申请日 | - |
公开(公告)号 | CN112148445A | 公开(公告)日 | 2020-12-29 |
申请公布号 | CN112148445A | 申请公布日 | 2020-12-29 |
分类号 | G06F9/48(2006.01)I;G06F9/50(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 郑小锋;官俊;涂岗;冯云龙;郭翠莲 | 申请(专利权)人 | 倍智智能数据运营有限公司 |
代理机构 | 成都弘毅天承知识产权代理有限公司 | 代理人 | 倍智智能数据运营有限公司 |
地址 | 610000四川省成都市高新区中国节能大厦A座27楼2706室 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及数据处理领域,具体是一种基于大数据技术的分布式任务调度方法,包括如下步骤:S1、程序包或HTTP接口进行注册;S2、将所有创建的任务节点串联起来形成待执行任务的工作流程;S3、将配置好的工作流程注册到数据库或分布式服务框架中;S4、初始化、注册并启动任务调度节点,任务调度节点将待执行任务下发给未发生负载情况任务执行节点;S5、初始化、注册并启动任务执行节点,任务执行节点持续接收待执行任务并执行;S6、任务执行节点执行完该待执行任务后,将执行情况上报给任务调度节点;解决了任务调度没有补偿机制、宕机时,剩余待调度任务无法执行、对大数据相关程度调度支持性低以及度的任务过多时,任务运行效率会明显下降的问题。 |
