首页/ 广州市易工品科技有限公司/ 专利详情

基于可视化界面快速生成分布式批处理任务的方法和装置

基本信息

申请号 CN202110906348.7 申请日 -
公开（公告）号 CN113742040A 公开（公告）日 2021-12-03
申请公布号 CN113742040A 申请公布日 2021-12-03
分类号 G06F9/48（2006.01）I;G06F16/2455（2019.01）I 分类 计算；推算；计数;
发明人 张鑫;毕阳洋;段智永;曹杰 申请（专利权）人 广州市易工品科技有限公司
代理机构 广州智斧知识产权代理事务所（普通合伙） 代理人 孔德超
地址 510000广东省广州市海珠区阅江中路686号410
法律状态 -

摘要

摘要 本发明实施例涉及数据处理的技术领域，公开了一种基于可视化界面快速生成分布式批处理任务的方法和装置。该方法包括：接收使用者在可视化界面填写的配置信息，配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；将配置信息组织成配置文件，并存入存储介质中；接收使用者的任务启动请求，调取配置文件，并将配置文件传入后台的执行引擎中，由执行引擎解析配置文件信息，生成spark任务，调度执行批处理任务。实施本发明实施例，可以通过可视化界面填写配置信息，自动生成配置文件，通过执行引擎解析配置文件并调度执行批处理操作，加速批处理任务的构建和处理。