一种数据同步的方法和装置
基本信息
| 申请号 | CN201710750922.8 | 申请日 | - |
| 公开（公告）号 | CN107609061A | 公开（公告）日 | 2018-01-19 |
| 申请公布号 | CN107609061A | 申请公布日 | 2018-01-19 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 李贵荣;黄承松;夏里峰;宋书俊 | 申请（专利权）人 | 武汉奇米网络科技有限公司 |
| 代理机构 | 北京路浩知识产权代理有限公司 | 代理人 | 武汉奇米网络科技有限公司 |
| 地址 | 430000 湖北省武汉市东湖新技术开发区软件园东路1号软件产业4.1期B4栋15层01室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种数据同步的方法和装置，通过MapReduce将每一数据传输任务的数据逐一传入到Hadoop集群中不同节点的DataX，并通过MapReduce启动Hadoop集群中不同节点的DataX，再通过Hadoop集群中不同节点的DataX实现从源端到每一目的端的数据传输，以完成从源端到每一目的端的数据同步，从而将数据同步任务列表中的多个数据传输任务分别分配给Hadoop集群中不同节点的DataX执行，避免了由单机同时执行多个数据传输任务时带来的单机内存不足的问题和单机网络传输速度受到限制的问题，提高了数据同步的效率。 |
