基于transformer模型提取同义语块对的方法

基本信息

申请号 CN202210336467.8 申请日 -
公开(公告)号 CN114417838A 公开(公告)日 2022-06-21
申请公布号 CN114417838A 申请公布日 2022-06-21
分类号 G06F40/247;G06F40/289 分类 计算;推算;计数;
发明人 殷晓君;殷晓东;王诚文;王鸿滨 申请(专利权)人 北京语言大学
代理机构 北京市广友专利事务所有限责任公司 代理人 张仲波
地址 100083 北京市海淀区学院路15号
法律状态 -

摘要

摘要 本发明涉及同义语块对提取技术领域,特别是指一种基于transformer模型提取同义语块对的方法,方法包括:获取待提取语句对并输入到transformer模型,获取transformer模型内部的ec_att_matrix和ecdc_att_matrix;在ec_att_matrix中,确定满足第一条件的最小内部矩阵,记录对应的语块以及标号,将语块确定为Query语块;对每个Query语块,确定满足第二条件的最小矩阵,确定Query语块对应的Title语块;根据Query语块以及对应的Title语块确定同义语块对。采用本发明,可以解决口语与书面语表达不一致的检索问题,提高效率和准确率。