一种结合多头自注意力机制的CNN文本分类方法
基本信息
| 申请号 | CN202010040278.7 | 申请日 | - |
| 公开（公告）号 | CN111259666A | 公开（公告）日 | 2020-06-09 |
| 申请公布号 | CN111259666A | 申请公布日 | 2020-06-09 |
| 分类号 | G06F40/289(2020.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 刘星辰;陈晓峰;麻沁甜 | 申请（专利权）人 | 上海勃池信息技术有限公司 |
| 代理机构 | 上海领洋专利代理事务所（普通合伙） | 代理人 | 上海勃池信息技术有限公司 |
| 地址 | 200000上海市嘉定区汇源路55号8幢5层517室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种结合多头自注意力机制的CNN文本分类方法,包括：获取待分类文本的分词序列，并进行特殊符号和停止词过滤等预处理；查询预设或随机初始化的词嵌入模型获取分词序列的嵌入矩阵，矩阵的每一行为各分词的嵌入向量；针对所得嵌入矩阵的各行向量，叠加该向量对应分词的位置编码向量；对叠加位置编码后的嵌入矩阵通过自注意力机制生成自注意力矩阵；重复若干次自注意力矩阵的生成，将生成的多个矩阵在列的维度上进行拼接；将词序列拼接后的自注意力矩阵与加权矩阵相乘，实现降维和融合；将降维和融合后的自注意力矩阵输入CNN，进行训练或者预测。 |
