一种分布式数据管理系统
基本信息
| 申请号 | CN202011100162.4 | 申请日 | - |
| 公开（公告）号 | CN112231602A | 公开（公告）日 | 2021-01-15 |
| 申请公布号 | CN112231602A | 申请公布日 | 2021-01-15 |
| 分类号 | G06F16/955(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 徐雷 | 申请（专利权）人 | 镇江睿知信息科技有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 212000江苏省镇江市高新区南徐大道298号睿泰C座 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种分布式数据管理系统，本系统包括URL动态调配模块、反爬策略调度模块、数据标记解析模块、数据格式化模块。本系统的研发能够高效获取互联网热点信息，并依照差异化、个性化的需求，为用户提供及时、精细化的数据。本系统中以以Storm实时流处理、数据库中间件、Hadoop批处理和ELK数据可视化结合的框架，提升了系统的兼容性、容错性和可扩展性，提高系统对差异化需求的适应性。 |
