首页/ 南京安讯科技有限责任公司/ 专利详情

一种提高Spark on yarn实时任务可靠性的方法

基本信息

申请号 CN201811393037.X 申请日 -
公开（公告）号 CN109491841A 公开（公告）日 2019-03-19
申请公布号 CN109491841A 申请公布日 2019-03-19
分类号 G06F11/14（2006.01）I; G06F11/30（2006.01）I 分类 计算；推算；计数;
发明人 马伟定 申请（专利权）人 南京安讯科技有限责任公司
代理机构 大连至诚专利代理事务所（特殊普通合伙） 代理人 南京安讯科技有限责任公司
地址 210012 江苏省南京市雨花台区软件大道119号5幢201-206室
法律状态 -

摘要

摘要 本发明公开了一种提高Spark on yarn实时任务可靠性的方法，该方法主要是通过定时轮训Hadoop Yarn任务池的任务，再通过设定的模板解析目标任务的状态，然后根据解析得到的状态判断是否需要重启，如果需要重启则根据预置的启动命令模板拉起任务，必要时进行系统日志的记录和短信等渠道通知。这样可以有效提高实时任务的高可用性和系统的健壮性以及任务相关的可维护性，提高大数据处于过程的健壮性，最终避免任务因为失败而等待或者重复提交，提高大数据系统资源(时间和空间)的利用率。该方法可以用于任何基于Hadoop Yarn计算引擎的大数据处理应用或系统中。