一种基于机器学习的突发事件敏感词检测方法
基本信息
申请号 | CN202210357018.1 | 申请日 | - |
公开(公告)号 | CN114662486A | 公开(公告)日 | 2022-06-24 |
申请公布号 | CN114662486A | 申请公布日 | 2022-06-24 |
分类号 | G06F40/284(2020.01)I;G06F40/242(2020.01)I;G06F40/289(2020.01)I;G06K9/62(2022.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I;G06N5/00(2006.01)I;G06N20/00(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 刘硕愚;邱云飞 | 申请(专利权)人 | 辽宁工程技术大学 |
代理机构 | 北京华夏正合知识产权代理事务所(普通合伙) | 代理人 | - |
地址 | 123000辽宁省阜新市细河区中华路47号 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于机器学习的突发事件敏感词检测方法,包括确定突发事件相关的违规主题词及语句;建立敏感词库与背景词库;利用确定的正样本、强负样本及敏感词库、背景词库训练决策树或贝叶斯分类模型,对敏感词和背景词设定不同权重值;获得待审核文本后,首先将文本去除停用词并分段,后使用TF‑IDF计算敏感词库中的各个敏感词与背景词库中的各个背景词在每段的平均得分;通过文本敏感概率判定待定文本是否为敏感文本或非敏感文本。本发明提出了解决突发事件的敏感词库建立的有效方法,可以更高效、更精准的建立敏感词库、背景词库,并将建立过程自动化,省去大量人工建库的成本。 |
