一种异构海量数据高效低成本的装载方法
基本信息
| 申请号 | CN200810039896.9 | 申请日 | - |
| 公开（公告）号 | CN101621529B | 公开（公告）日 | 2012-10-10 |
| 申请公布号 | CN101621529B | 申请公布日 | 2012-10-10 |
| 分类号 | H04L29/08(2006.01)I;H04L29/06(2006.01)I;H04L12/56(2006.01)I;H04L12/26(2006.01)I | 分类 | 电通信技术; |
| 发明人 | 冯谧 | 申请（专利权）人 | 上海全成通信技术有限公司 |
| 代理机构 | 上海科盛知识产权代理有限公司 | 代理人 | 赵志远 |
| 地址 | 200050 上海市延安西路726号(华敏翰尊国际)7楼J、K座 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种异构海量数据高效低成本的装载方法，包括以下步骤：将异构数据源转换成通用统一的平面文件接口；用户将数据传送到FTP服务器；对目标数据库创建接口缓冲表和对接口表按日期分区；入库装载程序收到文件后，检测校验文件和原始数据文件是否一致；若为是，则入库，且标志入库到入库接口缓冲表并标记文件状态为正常；若为否，则标志异常及异常原因；将缓冲区数据进行数据清洗并插入到正式的入库接口表中。与现有技术相比，本发明有效的解决了异构海量数据装载的问题，同时避免了高投入采购第三方ETL软件和专业技术人员，为中小型公司降低开发成本提供了解决方案。 |
