中文分词方法、训练设备以及计算机可读存储介质

基本信息

申请号 CN202010297380.5 申请日 -
公开(公告)号 CN111666758B 公开(公告)日 2022-03-22
申请公布号 CN111666758B 申请公布日 2022-03-22
分类号 G06F40/289(2020.01)I;G06F40/242(2020.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I 分类 计算;推算;计数;
发明人 赵笑艳;杨敏;曲强;贺倩明 申请(专利权)人 深圳得理科技有限公司
代理机构 深圳市威世博知识产权代理事务所(普通合伙) 代理人 李庆波
地址 518055广东省深圳市南山区深圳大学城学苑大道1068号
法律状态 -

摘要

摘要 本申请提供一种中文分词方法、训练设备以及计算机可读存储介质,该方法包括:将待分词文本中的字符转化为字符特征信息向量;提取每个字符特征信息向量的上下文特征向量;从词典中获取每个句子对应的候选词集合,并利用自适应注意力机制计算上下文特征向量和候选词集合中的每个候选词的语义关系,得到上下文特征向量对词典的词感知表示;将上下文特征向量和词感知表示进行信息融合,获得包含词信息和上下文信息的词感知上下文表示;根据词感知上下文表示确定相邻字之间的依赖关系,从而对待分词文本进行分词。本申请提供的中文分词方法能够提高中文分词的准确性。