基于transformer模型提取同义语块对的方法
基本信息
申请号 | CN202210336467.8 | 申请日 | - |
公开(公告)号 | CN114417838B | 公开(公告)日 | 2022-06-21 |
申请公布号 | CN114417838B | 申请公布日 | 2022-06-21 |
分类号 | G06F40/247;G06F40/289 | 分类 | 计算;推算;计数; |
发明人 | 殷晓君;殷晓东;王诚文;王鸿滨 | 申请(专利权)人 | 北京语言大学 |
代理机构 | 北京市广友专利事务所有限责任公司 | 代理人 | 张仲波 |
地址 | 100083 北京市海淀区学院路15号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及同义语块对提取技术领域,特别是指一种基于transformer模型提取同义语块对的方法,方法包括:获取待提取语句对并输入到transformer模型,获取transformer模型内部的ec_att_matrix和ecdc_att_matrix;在ec_att_matrix中,确定满足第一条件的最小内部矩阵,记录对应的语块以及标号,将语块确定为Query语块;对每个Query语块,确定满足第二条件的最小矩阵,确定Query语块对应的Title语块;根据Query语块以及对应的Title语块确定同义语块对。采用本发明,可以解决口语与书面语表达不一致的检索问题,提高效率和准确率。 |
