离线任务的处理方法和装置

基本信息

申请号 CN202111609393.2 申请日 -
公开(公告)号 CN114327820A 公开(公告)日 2022-04-12
申请公布号 CN114327820A 申请公布日 2022-04-12
分类号 G06F9/48(2006.01)I;G06F16/182(2019.01)I;G06F9/445(2018.01)I 分类 计算;推算;计数;
发明人 宋东瑞;白杰;白会杰;姚鑫;苏宇 申请(专利权)人 苏州臻璇数据信息技术有限公司
代理机构 北京知汇林知识产权代理事务所(普通合伙) 代理人 杨华
地址 215000江苏省苏州市相城区高铁新城青龙港路286号长三角国际研发社区启动区11#101室
法律状态 -

摘要

摘要 本发明提供了一种离线任务的处理方法和装置,其中,该方法包括:获取预设时间周期内的历史渠道数据,采用计算引擎Spark对所述历史渠道数据进行划分,然后生成并编排所述历史渠道数据的离线任务;采用批处理调度器Azkaban对所述离线任务进行任务调度。本申请解决了现有技术中不能进行任务编排的问题。