分布式任务计算调度框架搭建的方法、装置及计算机设备

基本信息

申请号 CN202011512271.7 申请日 -
公开(公告)号 CN112667393B 公开(公告)日 2021-10-29
申请公布号 CN112667393B 申请公布日 2021-10-29
分类号 G06F9/50(2006.01)I 分类 计算;推算;计数;
发明人 陈定玮;周景锋 申请(专利权)人 飞算数智科技(深圳)有限公司
代理机构 深圳卓正专利代理事务所(普通合伙) 代理人 吴思莹;万正平
地址 518000广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
法律状态 -

摘要

摘要 本发明涉及分布式任务计算调度框架搭建的方法、装置及计算机设备,该方法包括:选择对应的目标计算框架类型;获取对应的目标分布式任务部署策略;搭建分布式资源数据处理框架;根据所述目标分布式任务部署策略获取对应的目标资源调度策略,根据所述目标资源调度策略建立分布式任务消息队列;将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接;基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。本发明提供了一种高效、高性能,高可用的分布式大数据计算框架搭建方案。