一种把异构数据文件中的数据导入到数据库的方法

基本信息

申请号 CN202011337828.8 申请日 -
公开(公告)号 CN112328542A 公开(公告)日 2021-02-05
申请公布号 CN112328542A 申请公布日 2021-02-05
分类号 G06F16/11(2019.01)I; 分类 计算;推算;计数;
发明人 张振华;陈欢;崔金旭;陈晨 申请(专利权)人 天津凯发电气股份有限公司
代理机构 天津企兴智财知识产权代理有限公司 代理人 李彦彦
地址 300384天津市滨海新区新产业园区华苑产业区物华道8号
法律状态 -

摘要

摘要 本发明提供了一种把异构数据文件中的数据导入到数据库的方法,包括获取配置信息,根据配置信息初始化文件搜索器、文件分配器、N个文件队列和N个文件入库任务;文件搜索器在指定路径下搜索数据文件,搜索到数据文件后进行有效性检查,然后把有效的数据文件交给文件分配器;文件分配器依据负载均衡算法把数据文件路径放入相应文件队列中;文件入库任务读取对应文件队列中数据文件并导入到数据库中。本发明通过负载均衡算法实现数据文件的并行导入,充分利用了硬件资源,大大提高存储效率。