基于预训练语言模型和编码器的消息意图识别方法及系统
基本信息
| 申请号 | CN202110655567.2 | 申请日 | - |
| 公开（公告）号 | CN113254617B | 公开（公告）日 | 2021-10-22 |
| 申请公布号 | CN113254617B | 申请公布日 | 2021-10-22 |
| 分类号 | G06F16/332（2019.01）I;G06F40/289（2020.01）I;G06K9/62（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 江岭;黄鹏;张振羽 | 申请（专利权）人 | 成都晓多科技有限公司 |
| 代理机构 | 成都睿道专利代理事务所（普通合伙） | 代理人 | 薛波 |
| 地址 | 610000四川省成都市天府新区兴隆街道湖畔路西段123号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种基于预训练语言模型和编码器的消息意图识别方法及系统，包括获取领域标注数据集；所述领域标注数据集通过对各个领域的数据集进行标注后获得；通过预训练语言模型和意图预测器为所述领域标注数据集中的每一条消息生成一个软标签，获得对应的软标签数据集并输入消息编码器；通过所述消息编码器对所述软标签数据集中的每一条消息进行切词处理，并根据处理结果进行编码处理后得到对应的特征向量并输入意图预测器；通过所述意图预测器将所述软标签和所述特征向量进行拼接后进行运算得到各个消息对应的意图。通过预训练语言模型、消息编码器和意图预测器进行协同处理，既提高了消息识别的精度，同时也提高了训练的效率。 |
