一种数据处理方法、装置及超算系统

基本信息

申请号 CN202110960999.4 申请日 -
公开(公告)号 CN113704681A 公开(公告)日 2021-11-26
申请公布号 CN113704681A 申请公布日 2021-11-26
分类号 G06F17/14(2006.01)I;G16C10/00(2019.01)I 分类 计算;推算;计数;
发明人 郭璟;李京会;李桓;郭晨;张欣瑜;郭振江;柳宇驰 申请(专利权)人 上海思朗科技有限公司
代理机构 北京集佳知识产权代理有限公司 代理人 张静
地址 100176北京市北京经济技术开发区科谷一街10号院6号楼5层506-1室
法律状态 -

摘要

摘要 本发明公开了一种数据处理方法、装置及超算系统包括:在多个维度上将预设空间内的数据平均切分,每个维度切分为F个单元,确定每个单元与计算节点的映射关系;并将每个单元内的数据点存储到相对应的计算节点上;在进行任意一个维度的空间变换域之前,将目标维度上坐标连续的F个计算节点作为一组;针对任意一组计算节点,将该组内的M个计算任务平均分配给该组内的F个计算节点;每个计算任务表示对一组计算节点内在目标维度上连续的N个数据点进行空间变换域运算;基于为每个计算节点分配的计算任务,各计算节点之间传输进行空间变换域运算所需的数据点,并执行空间变换域运算。基于此,大大降低了数据传输量,提升了数据处理的效率。