一种基于距离相关系数的注意力机制模型
基本信息
申请号 | CN202210260630.7 | 申请日 | - |
公开(公告)号 | CN114611397A | 公开(公告)日 | 2022-06-10 |
申请公布号 | CN114611397A | 申请公布日 | 2022-06-10 |
分类号 | G06F30/27(2020.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 胡祥 | 申请(专利权)人 | 上海师范大学 |
代理机构 | 北京同辉知识产权代理事务所(普通合伙) | 代理人 | - |
地址 | 200233上海市徐汇区桂林路100号 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了注意力机制建构技术领域中一种基于距离相关系数的注意力机制模型,注意力机制模型结构采用Seq2Seq结构,所述注意力机制模型结构由输入层、Encoder层、DC_Attention层、Decoder层、线性层和输出层组成。本发明采用距离相关系数作为注意力机制的评价函数,能够很好的评估两向量之间的线性相关性和非线性关系,记为dcor(X,Y),当dcor(X,Y)=0,说明X和Y相互独立,dcor(X,Y)越大,说明X和Y之间的相关性越高。 |
