一种Hadoop集群中数据备份的方法、设备及系统

基本信息

申请号 CN201380002586.9 申请日 -
公开(公告)号 CN105052110B 公开(公告)日 2018-10-30
申请公布号 CN105052110B 申请公布日 2018-10-30
分类号 H04L29/08 分类 电通信技术;
发明人 王朱珍 申请(专利权)人 惠民壹绳壹网信息科技有限公司
代理机构 深圳市深佳知识产权代理事务所(普通合伙) 代理人 王仲凯
地址 518129 广东省深圳市龙岗区坂田华为总部办公楼
法律状态 -

摘要

摘要 本发明公开了一种Hadoop集群中数据备份的方法,包括:获取每个计算节点所具有的各种应用能力值,确定所述各种应用能力值中对待调整数据块的处理效率影响最大的应用能力值,以及所述待调整数据块的备份数量N,所述N为大于1的整数,确定所述每个计算节点中所述影响最大的应用能力值最强的前N个可用计算节点,将所述待调整数据块备份到确定的所述前N个可用计算节点上。本发明实施例提供的方法,可以将数据块备份到处理该数据块能力最强的计算节点上,从而提高了数据处理的效率。