一种SparkContext的配置方法、装置及服务端专利查询专利号|摘要-满商公司网

一种SparkContext的配置方法、装置及服务端

基本信息

申请号	CN202011339554.6	申请日	-
公开（公告）号	CN112328403A	公开（公告）日	2021-02-05
申请公布号	CN112328403A	申请公布日	2021-02-05
分类号	G06F9/50(2006.01)I;	分类	计算；推算；计数;
发明人	张翔南;范强;凌瀛洲;冯超;王家卓	申请（专利权）人	北京中天孔明科技股份有限公司
代理机构	北京中政联科专利代理事务所（普通合伙）	代理人	杨友枚
地址	100010北京市朝阳区惠新东街甲2号楼-3至25层101内10层1001室
法律状态	-

摘要

本发明公开了一种SparkContext的配置方法、服务端和系统，该方法包括：接收创建SparkContext的请求；发送第一查询请求，所述第一查询请求用于指示K8s查询各个节点的剩余资源；接收第一查询结果，所述第一查询结果包括各个节点的剩余资源；根据所述第一查询结果，发送创建命令，所述创建命令用于指示K8s在剩余资源最大的节点上创建SparkContext，重复以上过程创建数个可随时接收任务的常驻SparkContext。本发明实施方式提供的SparkContext配置方法，在SparkContext出现故障或者意外终止的情况下，可以自动生成新的SparkContext节点，重试失败任务，无需技术人员手动干预，节省了时间，提高了任务执行的效率。