分布式数据分片存储读取的方法

基本信息

申请号 CN202011391288.1 申请日 -
公开(公告)号 CN112364026A 公开(公告)日 2021-02-12
申请公布号 CN112364026A 申请公布日 2021-02-12
分类号 G06F16/22(2019.01)I; 分类 计算;推算;计数;
发明人 晏东;骆宇平;杨涛 申请(专利权)人 成都精灵云科技有限公司
代理机构 成都弘毅天承知识产权代理有限公司 代理人 郝迎宾
地址 610041四川省成都市中国(四川)自由贸易试验区成都高新区天府五街200号4号楼B区8层804、805室
法律状态 -

摘要

摘要 本发明涉及数据的分片读取领域,提出一种分布式数据分片存储读取的方法,包括:通过客户端将文件传输至主服务器;主服务器判断文件是否需要分片,若是则对文件进行分片处理,并对每个分片进行多副本处理,使每个分片具有多个副本,否则直接对文件进行多副本处理,使文件具有多个副本;主服务器将需要分片的文件的每个分片及对应的副本以及不需要分片的文件及对应的副本均存储至各个下载服务器,并记录;向主服务器发送下载文件请求;主服务器利用文件的标识信息找到文件记录,并根据负载均衡向客户端返回文件下载列表;客户端收到文件下载列表后通过多线程访问不同的下载服务器对文件或者分片的文件进行下载,并对需要分片的文件进行校验后合并。