基于概念词的文本聚类方法
基本信息
申请号 | CN202110536699.3 | 申请日 | - |
公开(公告)号 | CN112990388B | 公开(公告)日 | 2021-08-24 |
申请公布号 | CN112990388B | 申请公布日 | 2021-08-24 |
分类号 | G06K9/62;G06F40/216;G06F40/211 | 分类 | 计算;推算;计数; |
发明人 | 刘世林;罗镇权;黄艳;曾途 | 申请(专利权)人 | 成都数联铭品科技有限公司 |
代理机构 | 北京市领专知识产权代理有限公司 | 代理人 | 张玲 |
地址 | 610015 四川省成都市自由贸易试验区成都高新区天府大道北段966号9栋-1层1号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及基于概念词的文本聚类方法,包括以下步骤:对待聚类文本进行分句,通过概念词词表识别出分句后的待聚类文本中的概念词;所述概念词词表中包含若干概念词和若干类别,所述类别的数量小于等于所述概念词的数量;将识别出的概念词进行masking处理后,输入已训练的词的BERT预训练模型中进行预测,得到各个masking处理后的概念词基于所述概念词词表的概率分布;将各个masking处理后的概念词的概率分布进行maxpooling处理,分别得到maxpooling向量,选择位置最大值的向量作为所述待聚类文本的表达。本发明依据概念词对聚类结果进行解释,使得聚类更有解释性,提高说服力。 |
