基于概念词的文本聚类方法

基本信息

申请号 CN202110536699.3 申请日 -
公开(公告)号 CN112990388B 公开(公告)日 2021-08-24
申请公布号 CN112990388B 申请公布日 2021-08-24
分类号 G06K9/62;G06F40/216;G06F40/211 分类 计算;推算;计数;
发明人 刘世林;罗镇权;黄艳;曾途 申请(专利权)人 成都数联铭品科技有限公司
代理机构 北京市领专知识产权代理有限公司 代理人 张玲
地址 610015 四川省成都市自由贸易试验区成都高新区天府大道北段966号9栋-1层1号
法律状态 -

摘要

摘要 本发明涉及基于概念词的文本聚类方法,包括以下步骤:对待聚类文本进行分句,通过概念词词表识别出分句后的待聚类文本中的概念词;所述概念词词表中包含若干概念词和若干类别,所述类别的数量小于等于所述概念词的数量;将识别出的概念词进行masking处理后,输入已训练的词的BERT预训练模型中进行预测,得到各个masking处理后的概念词基于所述概念词词表的概率分布;将各个masking处理后的概念词的概率分布进行maxpooling处理,分别得到maxpooling向量,选择位置最大值的向量作为所述待聚类文本的表达。本发明依据概念词对聚类结果进行解释,使得聚类更有解释性,提高说服力。