一种冷热数据分离方法、装置及其设备

基本信息

申请号 CN202110328334.1 申请日 -
公开(公告)号 CN113051271A 公开(公告)日 2021-06-29
申请公布号 CN113051271A 申请公布日 2021-06-29
分类号 G06F16/22;G06F16/28;G06F9/54 分类 计算;推算;计数;
发明人 高文浩;李涛 申请(专利权)人 郑州阿帕斯数云信息科技有限公司
代理机构 北京国昊天诚知识产权代理有限公司 代理人 许振新
地址 450046 河南省郑州市郑东新区中道东路6号创意岛大厦A区4层401-A03号
法律状态 -

摘要

摘要 本申请公开了一种冷热数据分离方法、装置及其设备,用于解决现有的冷热数据分离的处理方法不够优化,会耗费大量的时间和精力的问题。所述方法包括:将目标业务的数据写入MySQL数据库;在目标业务的数据被写入MySQL数据库之后,将目标业务的数据异步发送至HBASE数据库的指定消息队列;根据预设的冷数据定义,从MySQL数据库中删除目标业务的冷数据,冷数据为目标业务的数据中时效性需求小于设定阈值的数据,以使得MySQL数据库中存储的数据为时效性需求大于或等于设定阈值的热数据;按照预设的数据格式重组从指定消息队列中获取的数据,得到具备指定前缀的重组数据,并将具备指定前缀的重组数据写入HBASE数据库,以使得HBASE数据库中存储的数据为目标业务的全量数据。