一种基于大数据集的分布式执行框架专利查询专利号|摘要-满商公司网

一种基于大数据集的分布式执行框架

基本信息

申请号	CN202011347821.4	申请日	-
公开（公告）号	CN112579100A	公开（公告）日	2021-03-30
申请公布号	CN112579100A	申请公布日	2021-03-30
分类号	G06F8/60(2018.01)I;G06F8/61(2018.01)I	分类	计算；推算；计数;
发明人	王小林;张晨辉	申请（专利权）人	陕西天行健车联网信息技术有限公司
代理机构	西安佳士成专利代理事务所合伙企业（普通合伙）	代理人	李丹
地址	710200陕西省西安市未央区明光路凯瑞E座801室
法律状态	-

摘要

本发明属于车联网技术领域，涉及一种基于大数据集的分布式执行框架，采用分布式并行执行，包括以下步骤：步骤一、执行启动脚本将jar包分发到集群各个节点对应目录；步骤二、NodeManger负责维护各个集群节点Node的通讯响应，分发的任务具体交给各自的Node处理；步骤三、Node节点负责维护各自TaskManager，一个节点可以处理多个并行任务；步骤四、Task任务最终交由WorkerManager处理，一个Node节点下WorkerManager维护一个线程池；步骤五、Woker拿到Task任务信息后启动TaskActuator执行用户自定义代码块，将结果数据集发送到hdfs，并将执行状态回写到数据库；本发明解决了日益增长的车联网数据量与主流技术框架及内部业务结合处理能力不足之间的矛盾。