一种网络环境下email大数据的预处理系统及方法
基本信息
| 申请号 | CN201810796149.3 | 申请日 | - |
| 公开（公告）号 | CN109241007A | 公开（公告）日 | 2019-01-18 |
| 申请公布号 | CN109241007A | 申请公布日 | 2019-01-18 |
| 分类号 | G06F16/172;G06F16/182 | 分类 | 计算；推算；计数; |
| 发明人 | 王红升;赵杰;邢波;李小江 | 申请（专利权）人 | 北京亿赛通网络安全技术有限公司 |
| 代理机构 | 北京天悦专利代理事务所（普通合伙） | 代理人 | 北京亿赛通网络安全技术有限公司 |
| 地址 | 100085 北京市海淀区西二旗大街39号A座三、四层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种网络环境下email大数据的预处理系统及方法，系统包括：第一服务器集群、第二服务器集群、第三服务器集群、缓存数据库集群、消息队列集群、分布式文件存储集群和分布式存储集群。本发明所提供的系统及方法，通过消息队列传递数据，减少了因数据落地而带来的输入输出，同时降低了各系统之间的耦合；结构化数据和全文数据单独缓存，避免了不需要进行合并的全文数据在合并处理过程中的无用传递，降低结构化数据合并涉及的各个环节的压力；通过预处理降低了入库的压力和查询压力，同时保证了数据的一致性和完整性。 |
