一种基于多头自注意力机制的动态元嵌入方法
基本信息
| 申请号 | CN202010367701.4 | 申请日 | - |
| 公开（公告）号 | CN111581351A | 公开（公告）日 | 2020-08-25 |
| 申请公布号 | CN111581351A | 申请公布日 | 2020-08-25 |
| 分类号 | G06F16/33(2019.01)I | 分类 | - |
| 发明人 | 王春辉;胡勇 | 申请（专利权）人 | 识因智能科技（北京）有限公司 |
| 代理机构 | 北京中北知识产权代理有限公司 | 代理人 | 识因智能科技（北京）有限公司 |
| 地址 | 102600北京市大兴区宏福路8号1层133室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种基于多头自注意力机制的动态元嵌入方法。所述方法包括：将输入句子中的每个词表示为词向量序列，将每个词向量映射到同一维度，基于多头自注意力机制计算嵌入矩阵，得到元嵌入表示的词向量矩阵。本发明利用多头自注意力机制进行多次计算，解决了现有DME、CDME动态元嵌入方法使用句子级别的自注意力确定不同嵌入集的权重，其中自注意力方法着重于学习各个词向量线性回归的参数，缺乏多角度的综合考虑，容易造成元嵌入权重的学习不充分的问题。 |
