一种基于深度学习的非监督命名实体语义消歧方法
基本信息
申请号 | CN201410488048.1 | 申请日 | - |
公开(公告)号 | CN104268200A | 公开(公告)日 | 2015-01-07 |
申请公布号 | CN104268200A | 申请公布日 | 2015-01-07 |
分类号 | G06F17/30(2006.01)I;G06F17/27(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 余雷;邓攀;闫碧莹;袁伟;李玉成;万安格 | 申请(专利权)人 | 中科明远(北京)并行软件有限公司 |
代理机构 | 北京永创新实专利事务所 | 代理人 | 祗志洁 |
地址 | 100190 北京市海淀区中关村南四街4号 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种基于深度学习的非监督命名实体语义消歧方法,针对某一特定领域,在垂直网站上抓取评论数据并进行预处理;对评论数据中文分词;利用主题模型对词进行主题聚类,生成包含主题信息的文档主题词分布;对词集合中的所有词,使用基于深度学习的词聚类方法word2vec进行关键词聚类,提取和关键词语义接近的词;使用条件随机场该模型识别评论数据中的命名实体;根据步骤4主题聚类的聚类结果,构建不同主题下的词集合,计算文档和词集合的相似度,选取文档主题,得出文档中命名实体的语境含义,从而消除语义岐义。本发明实现了以比较高的可解释度和精确度来进行命名实体消歧,满足了特定领域且需要大量的知识库的要求。 |
