一种基于多队列和多优先级的大数据任务管理系统和方法
基本信息
申请号 | CN201510110586.1 | 申请日 | - |
公开(公告)号 | CN104657214A | 公开(公告)日 | 2015-05-27 |
申请公布号 | CN104657214A | 申请公布日 | 2015-05-27 |
分类号 | G06F9/48(2006.01)I;G06F9/50(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 倪巍 | 申请(专利权)人 | 华存数据信息技术有限公司 |
代理机构 | 上海信好专利代理事务所(普通合伙) | 代理人 | 华存数据信息技术有限公司 |
地址 | 200127 上海市浦东新区峨山路91弄20号陆家嘴软件园区9号南塔楼5楼西 | ||
法律状态 | - |
摘要
摘要 | 一种基于多队列和多优先级的大数据任务管理系统,以及利用该系统实现大数据任务管理的方法。该方法包含:S1、客户端发起任务请求,并对该任务设定任务队列标签和优先级;S2、资源管理器接收由客户端发起的任务请求,将其分配至对应任务队列中;S3、每个节点资源管理器将其所在的分布式节点所拥有的资源上报给资源管理器以形成资源池,资源管理器对各个任务队列分配资源;S4、资源管理器依次将多个任务队列中当前需要执行的任务分配给节点资源管理器,节点资源管理器在接收任务指令后,调度容器单元执行该任务。本发明能够进行资源的统一管理和调配,并且基于多队列和多优先级进行任务调度执行,提高资源的利用率,加快任务执行的速度。 |
