基于蚁群算法的Spark任务智能感知调度方法
基本信息
| 申请号 | CN201910250517.9 | 申请日 | - |
| 公开（公告）号 | CN110086855B | 公开（公告）日 | 2021-11-05 |
| 申请公布号 | CN110086855B | 申请公布日 | 2021-11-05 |
| 分类号 | H04L29/08（2006.01）I;G06N3/00（2006.01）I | 分类 | 电通信技术; |
| 发明人 | 陈华;李凯 | 申请（专利权）人 | 江苏开拓信息与系统有限公司 |
| 代理机构 | 无锡市汇诚永信专利代理事务所（普通合伙） | 代理人 | 王闯;葛莉华 |
| 地址 | 214000江苏省无锡市滨湖区蠡湖商务园9号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于蚁群算法的Spark任务智能感知调度方法，其特征在于，客户端向任务调度控制器发送计算请求；集群资源智能控制器通过kafka消息组件实时收集各spark计算结点上的工作负载和在运行时加载流量信息并进行数据的汇聚；集群资源智能控制器通过基于蚁群算法的调度计算方法对各spark计算结点的资源进行计算；任务调度控制器调取集群资源智能控制器计算之后的任务资源信息；任务调度控制器按新的计算需求执行的资源与运行权重，与各个spark计算结点进行通信，把新计算任务加载到合适的spark计算结点中；spark计算结点获取计算任务后，从Hadoop数据资源中获取实际的计算数据，并进行计算工作。采用本方案后最大限度地提升资源利用率和计算性能。 |
