一种基于多重弱监督集成的短文本分类方法
基本信息
| 申请号 | CN202010211121.6 | 申请日 | - |
| 公开（公告）号 | CN111444342B | 公开（公告）日 | 2021-12-10 |
| 申请公布号 | CN111444342B | 申请公布日 | 2021-12-10 |
| 分类号 | G06F16/35;G06F40/279;G06F40/289 | 分类 | 计算；推算；计数; |
| 发明人 | 修保新 | 申请（专利权）人 | 湖南董因信息技术有限公司 |
| 代理机构 | 长沙大珂知识产权代理事务所（普通合伙） | 代理人 | 伍志祥 |
| 地址 | 410073 湖南省长沙市开福区金马路377号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于多重弱监督集成的短文本分类方法，包括：获取原始数据集和知识库，并进行数据预处理；对预处理后的数据进行知识抽取；将抽取的知识表示为标注函数，并用于数据标注；通过条件独立模型，进行标签集成；基于全连接神经网络，训练分类模型；对所述分类模型进行评估及优化，获得最优模型；利用最优模型进行短文本分类。本发明基于多重弱监督集成的短文本分类方法：利用关键词匹配、正则表达式和远监督聚类相结合的方式，完整表达了显性知识和隐性知识；借助标签集成机制产生的概率标签，不仅实现了无标签数据的自动化标注，缓解了短文本的数据稀疏问题，而且有效解决了短文本的不平衡分类问题。 |
