支持自定义插件的动态配置多数据库分布式持久化方法

基本信息

申请号 CN202011634276.7 申请日 -
公开(公告)号 CN112667747B 公开(公告)日 2021-09-21
申请公布号 CN112667747B 申请公布日 2021-09-21
分类号 G06F16/27(2019.01)I;G06F16/28(2019.01)I;G06F16/23(2019.01)I;G06F9/445(2018.01)I 分类 计算;推算;计数;
发明人 谢铭;郑佳星;蒲路 申请(专利权)人 北京赛思信安技术股份有限公司
代理机构 北京永创新实专利事务所 代理人 祗志洁
地址 100125北京市朝阳区霞光里8号承冀诚大厦二层
法律状态 -

摘要

摘要 本发明是一种支持自定义插件的动态配置多数据库分布式持久化方法,对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明方法包括:搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台;loadtool实现自动化配置,上传配置文件到Zookeeper;Pasca监控Zookeeper以动态更新配置;将接入的实时数据或离线数据发往Kafka集群,Pasca启动数据持久化通道,对接入的数据持久化。本发明具有自动化、动态配置、统一化优点,能方便的简单、灵活、高效的持久化数据,充分利用大数据集群的存储和计算资源。