一种基于作业特征指纹的分布式作业加速运行方法与系统

基本信息

申请号 CN201510844049.X 申请日 -
公开(公告)号 CN105320562B 公开(公告)日 2018-11-16
申请公布号 CN105320562B 申请公布日 2018-11-16
分类号 G06F9/48 分类 计算;推算;计数;
发明人 王海洋 申请(专利权)人 北京聚道科技有限公司
代理机构 - 代理人 -
地址 100084 北京市海淀区花园东路11号泰兴大厦五层501室
法律状态 -

摘要

摘要 本发明公开了基于作业特征指纹的分布式作业加速运行方法与系统,方法步骤包括:1)计算作业的特征指纹;2)将所述作业的特征指纹写入历史日志;3)根据所述作业的特征指纹,在所述历史日志里搜索具有相同特征指纹的历史作业;4)若没有,则继续完成作业;5)若存在相同特指纹的历史作业,则将历史作业输出赋予新提交的作业。本发明首次提出了作业特征指纹的概念,通过获取所述作业的依赖程序,获取所述作业运行程序参数,并将所述获取的作业依赖程序和作业运行程序参数,按预设进行合并,得到作业特征指纹。本发明还提供了的分布式作业加速运系统通过将所述作业特征指纹应用于分布式任务运行,并简化分布式任务的调度及提高分布式任务运行效率。