一种基于深度学习的非监督命名实体语义消歧方法

基本信息

申请号 CN201410488048.1 申请日 -
公开(公告)号 CN104268200A 公开(公告)日 2015-01-07
申请公布号 CN104268200A 申请公布日 2015-01-07
分类号 G06F17/30(2006.01)I;G06F17/27(2006.01)I 分类 计算;推算;计数;
发明人 余雷;邓攀;闫碧莹;袁伟;李玉成;万安格 申请(专利权)人 中科明远(北京)并行软件有限公司
代理机构 北京永创新实专利事务所 代理人 祗志洁
地址 100190 北京市海淀区中关村南四街4号
法律状态 -

摘要

摘要 本发明提供了一种基于深度学习的非监督命名实体语义消歧方法,针对某一特定领域,在垂直网站上抓取评论数据并进行预处理;对评论数据中文分词;利用主题模型对词进行主题聚类,生成包含主题信息的文档主题词分布;对词集合中的所有词,使用基于深度学习的词聚类方法word2vec进行关键词聚类,提取和关键词语义接近的词;使用条件随机场该模型识别评论数据中的命名实体;根据步骤4主题聚类的聚类结果,构建不同主题下的词集合,计算文档和词集合的相似度,选取文档主题,得出文档中命名实体的语境含义,从而消除语义岐义。本发明实现了以比较高的可解释度和精确度来进行命名实体消歧,满足了特定领域且需要大量的知识库的要求。