一种基于分布式系统的解析超大文本文件处理方法
基本信息
| 申请号 | CN202011603232.8 | 申请日 | - |
| 公开（公告）号 | CN112698988A | 公开（公告）日 | 2021-04-23 |
| 申请公布号 | CN112698988A | 申请公布日 | 2021-04-23 |
| 分类号 | G06F11/14;G06F16/172;G06F16/182 | 分类 | 计算；推算；计数; |
| 发明人 | 李立强;吴福全;王淋淋 | 申请（专利权）人 | 安徽迪科数金科技有限公司 |
| 代理机构 | 合肥正则元起专利代理事务所（普通合伙） | 代理人 | 王俊晓 |
| 地址 | 230000 安徽省合肥市高新区云飞路66号天源迪科科技园1号楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于分布式系统的解析超大文本文件处理方法，获取样本数据和解析分布数据，解析分布数据包含若干个主机的类型数据、处理速率数据、处理内存数据、存储内存数据和状态数据；对解析分布数据进行分布式分析，得到分布分析数据；根据分布分析数据对样本数据进行划分和分配，得到样本分配集；对样本分配集进行分布式处理，得到样本处理集；将样本处理集进行组合，得到样本解析集；本发明用于解决不能根据分布主机的工作状态和工作能力进行针对性分发数据和处理，使得整体的数据受到节点主机的影响进而使得数据的处理效率不佳的问题，以及不能将整体数据进行均衡划分和分配使得节点主机处理数据的效率达到最佳的问题。 |
