一种向Hbase中批量写入海量电力量测数据的方法
基本信息
| 申请号 | CN202010194317.9 | 申请日 | - |
| 公开（公告）号 | CN113220775A | 公开（公告）日 | 2021-08-06 |
| 申请公布号 | CN113220775A | 申请公布日 | 2021-08-06 |
| 分类号 | G06F16/27;G06Q50/06;G06F16/25 | 分类 | 计算；推算；计数; |
| 发明人 | 彭飞;张晓华;安天瑜;李丹;邵广惠;高德宾;王汉军;向勇;马煜;孟庆东;罗锋;吴奕;田长翼;安丰强;王欣;刘红叶 | 申请（专利权）人 | 中国科学院沈阳计算技术研究所有限公司 |
| 代理机构 | 沈阳科苑专利商标代理有限公司 | 代理人 | 许宗富 |
| 地址 | 110180 辽宁省沈阳市浑南新区营盘北街1号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种向Hbase中批量写入海量电力量测数据的方法，包括：获取采集量测数据，将获取的数据按哈希表HashMap存储，再转存为txt文件格式作为数据源存储至Hadoop分布式文件系统HDFS；结合采集量测数据在分布式列式存储数据库Hbase中建立相对应的存储模型，用于存储各个测点在监测时间点的量测数据；读取数据源进行封装行键格式，然后将封装后的数据再回写到HDFS上，以HFile的文件形式存储到HDFS指定的目录中；使用HBaseBulkLoad将生成的Hfile文件导入到分布式列式存储Hbase，实现电力数据的写入。本方法完全可以保证数据的准确性、全面性及可靠性，运行效率大大提高。 |
