一种处理海量数据的方法以及系统
基本信息
| 申请号 | CN201810194422.5 | 申请日 | - |
| 公开（公告）号 | CN108446352A | 公开（公告）日 | 2018-08-24 |
| 申请公布号 | CN108446352A | 申请公布日 | 2018-08-24 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 王立;雷雨林 | 申请（专利权）人 | 深圳市网信联动通信技术股份有限公司 |
| 代理机构 | 深圳市顺天达专利商标代理有限公司 | 代理人 | 李琴 |
| 地址 | 518057 广东省深圳市南山区高新中区科技中二路1号深圳软件园二期13栋702房 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种处理海量数据的方法以及系统，方法包括：利用多个主机组建电脑集群，将需处理的数据文件存储在集群中控制台的共享的硬盘区域上；控制台使用批处理语言将共享的硬盘区域上所有待处理的数据文件的处理任务分别分配给所述局域网络中的其他主机，且在共享的硬盘区域上为其他主机生成目录并存放相关的命令文件；其他主机根据所述命令文件处理接收到的待处理的数据文件，本发明利用组建的电脑集群处理共同分担处理需要处理的数据文件，且基于操作系统自带的批处理语言，不需要额外开发其他的工具及系统，就可以简单快速的组建电脑集群，建立数据文件处理任务，整个方案架构简单，成本低。 |
