首页/ 鲸灵科技有限责任公司/ 专利详情

一种大数据平台去中心化的调度和执行方法、装置

基本信息

申请号 CN202011631395.7 申请日 -
公开（公告）号 CN112822250A 公开（公告）日 2021-05-18
申请公布号 CN112822250A 申请公布日 2021-05-18
分类号 H04L29/08 分类 电通信技术;
发明人 王晟 申请（专利权）人 鲸灵科技有限责任公司
代理机构 南京苏高专利商标事务所（普通合伙） 代理人 吴静波
地址 225000 江苏省扬州市邗江区瘦西湖路195号花都汇商务中心2号楼
法律状态 -

摘要

摘要 本发明公开了一种大数据平台去中心化的任务调度触发和执行方法，若干个调度触发模块以进程为单位分布在ZooKeeper集群中同时运行、调度触发模块将被调度大数据计算任务的META信息写入ZooKeeper集群、任务执行模块以进程为单位，分布在ZooKeeper集群多个ZNode节点中运行、任务执行模块从ZooKeeper的ZNode树上进行依次遍历；当发现某个子过程具备执行条件时，锁定该任务、获取任务信息，执行该任务，并将任务的子过程执行结果和状态信息写入MySQL的任务历史、用户通过WebSocket协议建立后端WEB模块的连接，实时掌控ZooKeeper树中记录的所有任务的配置和状态信息。