基于有向无环图的分布式任务调度方法、装置及存储介质

基本信息

申请号 CN202011487630.8 申请日 -
公开(公告)号 CN112506636A 公开(公告)日 2021-03-16
申请公布号 CN112506636A 申请公布日 2021-03-16
分类号 G06F9/48(2006.01)I;G06F16/182(2019.01)I 分类 计算;推算;计数;
发明人 范强;张翔南;凌瀛洲;冯超;王家卓 申请(专利权)人 北京中天孔明科技股份有限公司
代理机构 北京中政联科专利代理事务所(普通合伙) 代理人 杨友枚
地址 100010北京市朝阳区惠新东街甲2号楼-3至25层101内10层1001室
法律状态 -

摘要

摘要 本发明提供了一种基于有向无环图的分布式任务调度方法、装置及存储介质,该方法包括构建有向无环图,有向无环图中包括多个处理流程,处理流程包括第一处理流程和第二处理流程,第二处理流程包括多个子流程;依次顺序执行多个处理流程,执行第二处理流程为:并行执行多个子流程;将执行完第一处理流程得到的运算结果和执行完每个子流程得到的运算结果储存至分布式文件系统中;其中,初始处理流程的输入数据为预设数据,上一处理流程的运算结果为下一处理流程的输入数据。通过将有向无环图中的每个处理流程拆分为独立的任务,同时缓存每个任务的运算结果,在参数试错时无需重复执行之前已运算过的流程。