一种数据库数据的并发装载方法及装置

基本信息

申请号 CN201810689100.8 申请日 -
公开(公告)号 CN108776710B 公开(公告)日 2018-11-09
申请公布号 CN108776710B 申请公布日 2018-11-09
分类号 G06F16/25(2019.01)I 分类 -
发明人 白崇东;张增广;李远卓;向红艳;刘玉;刘伟佳;李希民;潘自强 申请(专利权)人 农信银资金清算中心有限责任公司
代理机构 北京路浩知识产权代理有限公司 代理人 农信银资金清算中心有限责任公司
地址 100013北京市东城区北三环东路37号A座
法律状态 -

摘要

摘要 本发明公开数据库数据的并发装载方法及装置,方法包括:目标端接收源端发送的数据文件;在全量数据装载阶段通过统计表底层数据块大小按照表的数据量从大到小顺序导出不同表的方式将数据文件按顺序存到目标端不同装载目录,使目标端多进程/线程并发装载;在增量数据装载阶段通过统计表的增量数据大小按照数据量从大到小将数据文件存到目标端不同装载目录,使目标端多进程/线程并发装载;目标端多进程/线程并发装载的整个过程为进程/线程内顺序装载,进程/线程间并发执行。能对数据库数据并发装载,提升装载效率,使数据同步的实时性得以实现,同时配合多队列均衡机制,平均各队列的装载任务量,合理运用资源,保证整体装载性能。