首页/ 上海深擎信息科技有限公司/ 专利详情

一种基于通道和空间维度的词向量训练方法

基本信息

申请号 CN201910954979.9 申请日 -
公开（公告）号 CN110705315A 公开（公告）日 2020-01-17
申请公布号 CN110705315A 申请公布日 2020-01-17
分类号 G06F40/40;G06N3/04;G06N3/08 分类 计算；推算；计数;
发明人 柴志伟;赵路路 申请（专利权）人 上海深擎信息科技有限公司
代理机构 长沙国科天河知识产权代理有限公司 代理人 上海深擎信息科技有限公司;宁波深擎信息科技有限公司
地址 315000 浙江省宁波市镇海区福业街55号
法律状态 -

摘要

摘要 本发明提供一种基于通道和空间维度的词向量训练方法，该方法包括：获取训练语料，建立训练语料库。获取训练预料库中的每个训练语料中每个字的拼接特征向量。根据每个字的拼接特征向量，提取每个字的上下文特征向量和通道结构特征向量并进行融合，得到每个字对应的refined特征向量。每个字对应的refined特征向量经过分类器，损失函数训练，最终生成每个字对应的词向量。本发明融合的特征更加丰富，且在变压编码块特征提取器提取深层特征向量即为每个字对应的上下文特征向量的基础上，增加了通过卷积块注意力模块在通道维度增加注意力机制提取每个字对应的通道结构特征向量，增强深度学习向量的语意表达能力。