一种增量式数据并行处理装置与方法专利查询专利号|摘要-满商公司网

一种增量式数据并行处理装置与方法

基本信息

申请号	CN201710957385.4	申请日	-
公开（公告）号	CN107807845A	公开（公告）日	2018-03-16
申请公布号	CN107807845A	申请公布日	2018-03-16
分类号	G06F9/46	分类	计算；推算；计数;
发明人	崔鹏飞;田春华;蒋绵;刘家扬;景兆祥	申请（专利权）人	四川昆仑智汇数据科技有限公司
代理机构	北京力量专利代理事务所（特殊普通合伙）	代理人	王鸿远
地址	100089 北京市海淀区厂洼中街66号1号楼一层南部110室
法律状态	-

摘要

本发明提供一种增量式数据并行处理装置及方法，该方法包括：分片模块，用于对源数据分片，得到数据块；分片编码模块，用于对数据块编码，得到数据块编码；并行化执行模块，用于对编码数据块和需要执行的任务信息启动并行计算任务，得到每个计算任务的执行结果；执行记录模块，用于将执行结果记录在执行日志中；智能跳过模块，用于根据执行日志智能判定需要执行的任务信息，并将该信息发送给并行化执行模块；修正判断模块，用于根据执行结果判断是否有失败的计算任务，若有，向修正程序模块发送指令；修正程序模块，用于根据执行失败的计算任务信息修正程序。本发明的增量式数据并行处理装置与方法能够跳过成功的计算任务，只执行失败的计算任务。