一种分布式场景下的智能分区系统

基本信息

申请号 CN202110468932.9 申请日 -
公开(公告)号 CN113127566A 公开(公告)日 2021-07-16
申请公布号 CN113127566A 申请公布日 2021-07-16
分类号 G06F16/27(2019.01)I;G06F16/21(2019.01)I;G06F16/22(2019.01)I;G06F16/2458(2019.01)I 分类 计算;推算;计数;
发明人 王新根;陈伟;唐迪佳;杨运平;周佳瑜 申请(专利权)人 深圳市邦盛实时智能技术有限公司
代理机构 杭州求是专利事务所有限公司 代理人 刘静
地址 518052广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
法律状态 -

摘要

摘要 本发明公开了一种分布式场景下的智能分区系统。系统底层包含计算节点,并接入存储引擎。实时到来的金融数据流水,经由系统底层计算并存储之后将数据处理信息传输给集群感知模块。利用集群感知模块分析数据中每种键值以及读写压力的分布情况;将得到的分布情况输入到智能预测模块中,通过在线学习算法实时预测未来一段时间内,数据中每种键值的读写请求分布;并评估当前集群的热点数据的偏斜程度,当偏斜程度超过阈值,智能分区迁移模块接收预测单元的预测结果,计算新的分区表,执行分区迁移操作,达到平衡集群未来压力的目的。本发明适用于金融场景业务领域,能够显著降低存储系统的热点情况,提高系统的响应速度。