一种多节点并行处理海量任意目录结构存档文件的方法
基本信息
| 申请号 | CN202111031407.7 | 申请日 | - |
| 公开（公告）号 | CN113791919A | 公开（公告）日 | 2021-12-14 |
| 申请公布号 | CN113791919A | 申请公布日 | 2021-12-14 |
| 分类号 | G06F9/54（2006.01）I;G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F3/06（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 扈紫豪;黄祥志;王宝玉;臧文乾;王更科;余涛;赵亚萌;王栋 | 申请（专利权）人 | 北京四维新世纪信息技术有限公司 |
| 代理机构 | 北京志霖恒远知识产权代理事务所（普通合伙） | 代理人 | 杜武 |
| 地址 | 065000河北省廊坊市经济技术开发区云鹏道20号新亚研发8层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种多节点并行处理海量任意目录结构存档文件的方法，其特征在于，包括如下步骤：用户输入文件路径，并下发处理文件的任务至任务控制节点；任务控制节点派发任务至任务下发消息队列，同时指定工作节点执行工作任务；执行工作任务的工作节点成为执行节点，执行节点执行任务，完成任务后将完成信息反馈至任务反馈消息队列；任务控制节点从任务反馈队列拉取任务完成情况，判断符合停止情况后，停止工作线程。本申请在任务执行过程中，根据任务完成情况动态扩容缩容；将任务派发给任务下发消息队列，每个节点的任务负载更加均衡，处理效率更好。 |
