针对大数据中MPI数据接口的信息压缩传输方法
基本信息
申请号 | CN202110310147.0 | 申请日 | - |
公开(公告)号 | CN112988871B | 公开(公告)日 | 2021-11-16 |
申请公布号 | CN112988871B | 申请公布日 | 2021-11-16 |
分类号 | G06F16/25(2019.01)I;G06F16/22(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 杨晓凡 | 申请(专利权)人 | 重庆飞唐网景科技有限公司 |
代理机构 | 济南尚本知识产权代理事务所(普通合伙) | 代理人 | 张笑 |
地址 | 250100 山东省济南市高新区汉峪金谷A7-5-1101 | ||
法律状态 | - |
摘要
摘要 | 本发明提出了一种针对大数据中MPI数据接口的信息压缩传输方法,包括如下步骤:S1,获取云端数据中心的海量数据,将海量数据根据数据特征进行离散化处理,对处理后的数据进行属性赋值;S2,属性赋值完毕后,进行数据融合完成过程模板构建,通过矢量要素对海量数据进行数据索引;S3,通过MPI环境下对数据索引进行缓冲操作,并对缓冲后的数据索引进行划分操作,S4,对划分后的数据索引指向对应的海量数据,对海量数据通过压缩算法进行数据压缩,将压缩的数据通过MPI环境下数据接口进行传输。 |
