一种大规模文本相似度计算及文本查重方法专利查询专利号|摘要-满商公司网

一种大规模文本相似度计算及文本查重方法

基本信息

申请号	CN202010132181.9	申请日	-
公开（公告）号	CN111324750A	公开（公告）日	2021-07-13
申请公布号	CN111324750A	申请公布日	2021-07-13
分类号	G06F16/383;G06F40/289;G06K9/62	分类	计算；推算；计数;
发明人	张校源;陈骁	申请（专利权）人	上海爱数信息技术股份有限公司
代理机构	上海科盛知识产权代理有限公司	代理人	叶敏华
地址	201112 上海市闵行区联航路1188号8幢第2层A-1单元
法律状态	-

摘要

本发明涉及一种大规模文本相似度计算及文本查重方法，包括：获取原始文本数据集，创建整数形式的指纹集合；将指纹集合及对应的文本id以字节数据方式存储，得到指纹库；获取目标文本，创建目标指纹；从指纹库读取所有字节数据，并存入map内存；根据目标指纹，从map内存中得到对比指纹集合，采用整数异或运算方法，分别计算目标指纹与对比指纹集合中各指纹之间的相似度；当相似度二进制数值中1的个数小于或等于预设值时，则判断该对比指纹与目标指纹相似，通过查询文本id，即完成目标文本的查重。与现有技术相比，本发明能够减少文档指纹存储占用空间、减少查询文档指纹时间，在保证准确度的基础上，大大提升相似度计算及文本查重效率。