一种去中心化大数据作业流调度方法及装置专利查询专利号|摘要-满商公司网

一种去中心化大数据作业流调度方法及装置

基本信息

申请号	CN202011044841.4	申请日	-
公开（公告）号	CN112579267A	公开（公告）日	2021-03-30
申请公布号	CN112579267A	申请公布日	2021-03-30
分类号	G06F9/48(2006.01)I;G06F16/27(2019.01)I;G06F9/52(2006.01)I;G06F16/21(2019.01)I	分类	计算；推算；计数;
发明人	王济平;黎刚;汤克云;周健雄;高俊杰	申请（专利权）人	京信数据科技有限公司
代理机构	深圳余梅专利代理事务所（特殊普通合伙）	代理人	陈余才
地址	528400广东省中山市东区中山五路57号7层
法律状态	-

摘要

本发明涉及一种去中心化大数据作业流调度方法及装置。作业流调度方法包括以下步骤：步骤S1，构建作业流并转化为进程实例，对进程实例执行操作命令并写入工作流命令表；步骤S2，Master集群竞争获取工作流命令表中的命令并分析对应进程实例，将进程实例拆分成任务实例，并且写入任务队列中；步骤S3，Worker集群竞争获取任务队列中的批次任务，将批次任务实例化之后执行批次任务。本发明Master集群和Worker集群都采用去中心化的方式布设，同时采用分布式锁来选定其中一台服务器作为管理者执行任务，所有节点都可以充当Maste/Worker职能，不存在区别于其他节点的单一管理者，避免因中心化Master节点出故障而导致整个大数据作业调度而停止运行，提高了系统的稳定性和鲁棒性。