基于大数据量任务的分区并行处理方法及系统
基本信息
| 申请号 | CN202110839279.2 | 申请日 | - |
| 公开（公告）号 | CN113485812A | 公开（公告）日 | 2021-10-08 |
| 申请公布号 | CN113485812A | 申请公布日 | 2021-10-08 |
| 分类号 | G06F9/48（2006.01）I;G06F16/23（2019.01）I;G06Q40/02（2012.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张彪;罗鹏;张浩 | 申请（专利权）人 | 重庆富民银行股份有限公司 |
| 代理机构 | 重庆强大凯创专利代理事务所（普通合伙） | 代理人 | 隋金艳 |
| 地址 | 401121重庆市渝北区财富东路2号涉外商务区一期B1栋 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种基于大数据量任务的分区并行处理方法及系统，属于计算机技术领域，针对目前单线程大批量数据处理时，处理效率较低的问题，提出以下方案：基于大数据量任务的分区并行处理方法，包括：将数据库表中的大数据量任务拆分为多个子任务；其中，各子任务可独立、并行执行；根据预设抓取策略发出任务抓取请求对多个子任务进行抓取，并对抓取的子任务进行锁定；控制任务执行器执行各个被抓取的子任务；根据任务执行器的运行，对任务管理器的任务表数据进行更新。本发明技术方案提升大批量数据处理的效率和可靠性。 |
