离线任务的处理方法和装置
基本信息
申请号 | CN202111609393.2 | 申请日 | - |
公开(公告)号 | CN114327820A | 公开(公告)日 | 2022-04-12 |
申请公布号 | CN114327820A | 申请公布日 | 2022-04-12 |
分类号 | G06F9/48(2006.01)I;G06F16/182(2019.01)I;G06F9/445(2018.01)I | 分类 | 计算;推算;计数; |
发明人 | 宋东瑞;白杰;白会杰;姚鑫;苏宇 | 申请(专利权)人 | 苏州臻璇数据信息技术有限公司 |
代理机构 | 北京知汇林知识产权代理事务所(普通合伙) | 代理人 | 杨华 |
地址 | 215000江苏省苏州市相城区高铁新城青龙港路286号长三角国际研发社区启动区11#101室 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种离线任务的处理方法和装置,其中,该方法包括:获取预设时间周期内的历史渠道数据,采用计算引擎Spark对所述历史渠道数据进行划分,然后生成并编排所述历史渠道数据的离线任务;采用批处理调度器Azkaban对所述离线任务进行任务调度。本申请解决了现有技术中不能进行任务编排的问题。 |
