基于hdfs的准实时数据存储方法
基本信息
| 申请号 | CN201610336812.2 | 申请日 | - |
| 公开（公告）号 | CN106021491B | 公开（公告）日 | 2019-10-08 |
| 申请公布号 | CN106021491B | 申请公布日 | 2019-10-08 |
| 分类号 | G06F16/182;G06F16/172 | 分类 | 计算；推算；计数; |
| 发明人 | 吴广学 | 申请（专利权）人 | 天津海量信息技术股份有限公司 |
| 代理机构 | 天津市尚文知识产权代理有限公司 | 代理人 | 天津海量信息技术股份有限公司 |
| 地址 | 300020 天津市和平区南马路11号麦购国际大厦23层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种基于hdfs的准实时数据存储方法，由客户端、本地文件系统、hdfs和hbase实现，在收到消息后，先将消息序列化并压缩后作为小文件顺序存储到本地文件系统，在小文件的绝对位置确定后，重新计算小文件的相对位置以追加为一个大文件来保证文件的完整性，且大文件依然可分割，然后异步追加小文件到hdfs中，从而在保证数据可靠性和吞吐量的同时，能够对数据进行准实时的随机读取，提高了数据的查询速度。 |
