基于双向编码器表征模型的语义表示模型及其方法

基本信息

申请号 CN201910715891.1 申请日 -
公开(公告)号 CN110413865A 公开(公告)日 2019-11-05
申请公布号 CN110413865A 申请公布日 2019-11-05
分类号 G06F16/9532(2019.01)I; G06F16/35(2019.01)I; G06F16/36(2019.01)I 分类 计算;推算;计数;
发明人 方宽; 范力文; 王瑞欣; 周日康; 申站; 孙晓光; 赵龙; 栾成; 李大海 申请(专利权)人 知者信息技术服务成都有限公司
代理机构 北京超凡宏宇专利代理事务所(特殊普通合伙) 代理人 徐丽
地址 610000 四川省成都市天府新区成都天府大道南段888号
法律状态 -

摘要

摘要 本公开提供了一种基于双向编码器表征模型BERT的语义表示模型,BERT包括依次连接的多个层,其中每一层包括多个节点,每一个节点用于输出词向量,该语义表示模型包括:输出向量计算单元,用于对BERT的最后一层中的所有节点的词向量求平均。本公开还提供了相应的用于训练语义表示模型的方法、电子设备和计算机可读介质。