数据处理方法、装置及计算机设备

基本信息

申请号 CN202110755957.7 申请日 -
公开(公告)号 CN113392131A 公开(公告)日 2021-09-14
申请公布号 CN113392131A 申请公布日 2021-09-14
分类号 G06F16/2453(2019.01)I;G06F16/2455(2019.01)I;G06F16/27(2019.01)I 分类 计算;推算;计数;
发明人 李文博 申请(专利权)人 上海幻电信息科技有限公司
代理机构 北京英特普罗知识产权代理有限公司 代理人 邓小玲;王勇
地址 200120上海市浦东新区中国(上海)自由贸易试验区祖冲之路2277弄1号905、906室
法律状态 -

摘要

摘要 本申请公开了一种数据处理方法、装置及计算机设备,该方法包括:获取待处理的目标数据集;根据预设数量的标识码对所述目标数据集中的每一个数据进行标记,得到已标记数据集;根据所述标记码将所述已标记数据集的数据输入到不同的计算节点进行数据处理;将所有计算节点输出的已标记数据去除标识码并进行存储。本申请还提供一种计算机可读存储介质。本申请通过标识码的方式将目标数据集的数据进行划分,并将划分后的数据分别输入到不同的计算节点进行数据处理,从而能够有效地均衡了计算节点上执行数据处理的数据量,提升了数据处理效率。