一种基于分布式多线程的大数据处理方法及系统
基本信息
| 申请号 | CN202110245159.X | 申请日 | - |
| 公开（公告）号 | CN112965798A | 公开（公告）日 | 2021-06-15 |
| 申请公布号 | CN112965798A | 申请公布日 | 2021-06-15 |
| 分类号 | G06F9/48（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 黄垚;代祝疆 | 申请（专利权）人 | 重庆业如供应链科技有限公司 |
| 代理机构 | 成都行之专利代理事务所（普通合伙） | 代理人 | 张超 |
| 地址 | 400000重庆市江北区北滨路413号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于分布式多线程的大数据处理方法及系统，包括系统服务器和若干智能执行终端，所述系统服务器包括数据库、优先级队列、生产者线程和消费者线程；该方法包括：S1：系统服务器接收所有待处理的数据任务，并存入数据库；及把从数据库中读取若干条数据任务放入到待处理任务的优先级队列中；S2：系统服务器根据各个智能执行终端的运行状态，调取对应空闲状态的智能执行终端执行所述优先级队列中的待处理任务，且所述智能执行终端把自身的实时运行状态通知所述系统服务器；在执行过程中，若遇到错误则将错误数据任务返回至所述优先级队的首位，等待被调取执行即可。本发明提高了机器的复用率、降低机器的返工率。 |
