一种数据上传方法及系统

基本信息

申请号 CN201611170890.6 申请日 -
公开(公告)号 CN106790511A 公开(公告)日 2017-05-31
申请公布号 CN106790511A 申请公布日 2017-05-31
分类号 H04L29/08(2006.01)I 分类 电通信技术;
发明人 周文平;陈煜文;华中领 申请(专利权)人 北京酷成长科技有限公司
代理机构 北京轻创知识产权代理有限公司 代理人 杨立
地址 273500 山东省济宁市邹城市岗山北路509号七楼
法律状态 -

摘要

摘要 本发明公开了一种数据上传方法及系统,该方法包括如下步骤,读取数据文件,对数据文件进行数据分片操作、生成数据片段,对数据片段进行完整性管理操作;通过上传数据片段的方式上传数据文件;接收到数据片段后,校验数据片段的完整性;该系统包括客户端和服务器;客户端包括读取模块、分片模块、管理模块及上传模块,服务器包括接收模块和校验模块。本发明为超级计算提供一种高效、快速的数据上传方法及系统,避免了数据重复上传的问题,有效减少了数据传输时间,极大提高了大规模数据的上传效率,进而使超算作业可以进行实时提交。