一种离线数据的采集方法、装置、设备及存储介质
基本信息
申请号 | CN202010096971.6 | 申请日 | - |
公开(公告)号 | CN111324653B | 公开(公告)日 | 2021-03-16 |
申请公布号 | CN111324653B | 申请公布日 | 2021-03-16 |
分类号 | G06F16/25(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 宋大伟;丁静 | 申请(专利权)人 | 苏州亿歌网络科技有限公司 |
代理机构 | 北京品源专利代理有限公司 | 代理人 | 孟金喆 |
地址 | 215006江苏省苏州市苏州工业园区群星路55号201-203室 | ||
法律状态 | - |
摘要
摘要 | 本发明实施例公开了一种离线数据的采集方法、装置、设备及存储介质。方法包括:将离线数据进行拆分获得多份离线数据组,其中,每一份离线数据组小于第一预设容量;将每一份离线数据组进行类型转换获得转换后的离线数据组,其中,转换后的离线数据组符合目标数据库的存储类型要求;将每一份转换后的离线数据组进行合并获得采集数据。本实施方式中通过将大容量离线数据进行拆分处理,可以减轻数据的处理压力,避免了由于处理的数据量太大而造成的系统崩溃,并且对拆分的每一份离线数据组转换成符合目标数据库存储类型要求的数据,而无需开发人员重复编码进行转换,减少了人力消耗,从而满足了用户对离线数据采集的需求。 |
