Spark应用程序控制方法及控制装置

基本信息

申请号 CN201811580726.1 申请日 -
公开(公告)号 CN109634784A 公开(公告)日 2019-04-16
申请公布号 CN109634784A 申请公布日 2019-04-16
分类号 G06F11/14(2006.01)I 分类 计算;推算;计数;
发明人 文燕军; 卢春洋; 吴文钧 申请(专利权)人 康成投资(中国)有限公司
代理机构 上海盈盛知识产权代理事务所(普通合伙) 代理人 康成投资(中国)有限公司
地址 200436 上海市共和新路3318号
法律状态 -

摘要

摘要 本发明涉及通信技术领域,尤其涉及一种Spark应用程序控制方法及控制装置。所述Spark应用程序控制方法,包括如下步骤:判断Spark应用程序的历史状态参数是否有效,若是,则将所述历史状态参数加入所述Spark应用程序的运行环境;根据获取的历史状态参数运行所述Spark应用程序;判断所述Spark应用程序是否出现运行异常,若是,则保留所述Spark应用程序的当前状态参数;存储所述当前状态参数于管理员中,以更新所述历史状态参数。本发明确保Spark应用程序运行的可承接性,避免因状态的不连续造成数据缺失、数据重复消费等问题,提高了程序的可用性。