一种数据处理方法及系统、计算机设备、计算机存储介质

基本信息

申请号 CN202110114058.9 申请日 -
公开(公告)号 CN112835711A 公开(公告)日 2021-05-25
申请公布号 CN112835711A 申请公布日 2021-05-25
分类号 G06F9/50;G06F9/48 分类 计算;推算;计数;
发明人 杨宇 申请(专利权)人 北京远盟普惠健康科技有限公司
代理机构 北京辰权知识产权代理有限公司 代理人 刘广达
地址 100022 北京市朝阳区东三环中路20号楼26层6室
法律状态 -

摘要

摘要 本发明能够提供一种数据处理方法及系统、计算机设备、计算机存储介质。该数据处理方法可包括:基于接收的任务发起指令生成数据处理任务,读取数据处理任务指向的待处理数据所在的文件路径信息,根据文件路径信息将数据处理任务分解为多个子任务,创建用于处理所述子任务的集群子角色,为各个集群子角色分别分配至少一个子任务,利用各个集群子角色分别处理各自接收到的至少一个子任务,以对待处理数据进行采集和解析。本发明通过并行分布式数据采集手段能够快速地对大量的数据进行处理,数据采集和分析效率极高,基于易构建和扩展集群的优势能够较好地满足快速增长的数据的及时处理需求,明显降低了数据采集和分析难度。