一种数据处理方法以及数据处理装置
基本信息
| 申请号 | CN201810968716.9 | 申请日 | - |
| 公开（公告）号 | CN109165097A | 公开（公告）日 | 2021-06-08 |
| 申请公布号 | CN109165097A | 申请公布日 | 2021-06-08 |
| 分类号 | G06F9/50 | 分类 | 计算；推算；计数; |
| 发明人 | 王涛 | 申请（专利权）人 | 北京九狐时代智能科技有限公司 |
| 代理机构 | 北京超凡志成知识产权代理事务所（普通合伙） | 代理人 | 苏胜 |
| 地址 | 100000 北京市朝阳区阜通东大街1号院5号楼2单元324002 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请提供了一种数据处理方法以及数据处理装置，包括：将待处理数据分组，生成多个数据组；针对每个数据组，将该数据组中的所有待处理数据读入到内存中，并基于该数据组中的所有数据执行数据组内的双数据任务，待组内双数据任务完成后释放该组数据所占据内存；以及，针对每两个数据组，将该两个数据组的数据读入到内存中，并基于该两个数据组中的数据执行组间的双数据任务，待组间所有双数据任务完成后释放数据所占据内存。本申请算法通过增加I/O次数，减少单次读入内存的数据量，避免由于内存不足或者任务量过大造成系统或软件崩溃，同时在保证效率基本不变的前提下，保证了任务完成的完整性。 |
