一种基于预训练语言模型的标准术语即时检测方法
基本信息
| 申请号 | CN202210286320.2 | 申请日 | - |
| 公开（公告）号 | CN114756647A | 公开（公告）日 | 2022-07-15 |
| 申请公布号 | CN114756647A | 申请公布日 | 2022-07-15 |
| 分类号 | G06F16/33（2019.01）I;G06F16/335（2019.01）I;G06F16/338（2019.01）I;G06F40/242（2020.01）I;G06F40/289（2020.01）I;G06K9/62（2022.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张庆国 | 申请（专利权）人 | 同方知网数字出版技术股份有限公司 |
| 代理机构 | 北京天奇智新知识产权代理有限公司 | 代理人 | - |
| 地址 | 100192北京市海淀区西小口路66号东升科技园B2楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于预训练语言模型的标准术语即时检测方法，包括：输入标准术语样本集，将每一个标准术语生成词向量；将每一个标准术语生成的词向量，存入数据库，并做向量索引；对传入的文本流进行句子的划分，并记录句子的起始和结束位置，设定最大词汇长度；从句子数组中顺序取出一个句子，对句子进行切分词语处理，根据和相似度阈值的检索结果的关系，计算当前字符串与检索结果对应的标准术语的差异并标记结果。本发明提供的方法可以快速有效检测标准术语在使用中存在的缺字、添字、替换字、字序错乱等情况，尤其是在意识形态领域。对自行构造的测试数据进行测试，实验表明，基于预训练语言模型的标准术语检测方法平均准确率达到了99.4％，同时可以达到百万汉字的秒级响应。 |
