基于经济领域数据的分布式提取及可视化分析方法和系统

基本信息

申请号 CN201711113558.0 申请日 -
公开(公告)号 CN107766572A 公开(公告)日 2018-03-06
申请公布号 CN107766572A 申请公布日 2018-03-06
分类号 G06F17/30;G06F9/48;G06F9/50 分类 计算;推算;计数;
发明人 刘银;林杨阳;刘建华;丁文豪 申请(专利权)人 北京国信宏数科技有限责任公司
代理机构 北京恒都律师事务所 代理人 王清亮
地址 100080 北京市海淀区学院南路15号北发大厦D座9层
法律状态 -

摘要

摘要 本申请提供了一种基于经济领域数据的分布式提取及可视化分析方法和系统。其中基于经济领域数据的分布式提取及可视化分析方法,包括:分布式数据提取步骤:后端服务器接收用户提取大数据的指令并发送给主节点,主节点根据接收到的指令按照任务的某个或多个字段维度将提取数据的大任务切分成小任务,并将小任务分配给不同的处理节点,处理节点根据分配的小任务向全文检索系统发起请求,主节点将生成的小任务存储到数据库中,并在运行过程中同步任务的状态;分布式存储步骤;分布式计算和分析步骤;数据加载和缓存步骤;结果可视化展示步骤。本申请通过上述手段,提高了大数据提取的效率,同时降低了用户大数据分析的门槛。