大数据处理方法、装置、服务器及可读存储介质
基本信息
申请号 | CN201810343986.0 | 申请日 | - |
公开(公告)号 | CN108549583B | 公开(公告)日 | 2021-05-07 |
申请公布号 | CN108549583B | 申请公布日 | 2021-05-07 |
分类号 | G06F9/50(2006.01)I | 分类 | - |
发明人 | 姜光植;严雪枫;谢川;黄瀚林 | 申请(专利权)人 | 致云科技有限公司 |
代理机构 | 北京超凡宏宇专利代理事务所(特殊普通合伙) | 代理人 | 曹瑞敏 |
地址 | 610000四川省成都市高新区天府五街200号5栋B座4层 | ||
法律状态 | - |
摘要
摘要 | 本发明实施例提供一种大数据处理方法、装置、服务器及可读存储介质。该方法包括:获取待处理的大数据处理任务;根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型,所述任务类型包括串行任务和并行任务;按照所述任务类型的处理顺序,建立大数据处理列表;基于所述大数据处理列表,将每个串行任务通过主线程进行串行处理,将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理,并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此,能够将不同采集设备的处理任务分类处理,提高了处理效率,充分发挥多核处理器的优点,有效提高服务器的负载能力,从而承担更多的大数据处理任务。 |
