基于双向编码器表征模型的语义表示模型及其方法
基本信息
申请号 | CN201910715891.1 | 申请日 | - |
公开(公告)号 | CN110413865A | 公开(公告)日 | 2019-11-05 |
申请公布号 | CN110413865A | 申请公布日 | 2019-11-05 |
分类号 | G06F16/9532(2019.01)I; G06F16/35(2019.01)I; G06F16/36(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 方宽; 范力文; 王瑞欣; 周日康; 申站; 孙晓光; 赵龙; 栾成; 李大海 | 申请(专利权)人 | 知者信息技术服务成都有限公司 |
代理机构 | 北京超凡宏宇专利代理事务所(特殊普通合伙) | 代理人 | 徐丽 |
地址 | 610000 四川省成都市天府新区成都天府大道南段888号 | ||
法律状态 | - |
摘要
摘要 | 本公开提供了一种基于双向编码器表征模型BERT的语义表示模型,BERT包括依次连接的多个层,其中每一层包括多个节点,每一个节点用于输出词向量,该语义表示模型包括:输出向量计算单元,用于对BERT的最后一层中的所有节点的词向量求平均。本公开还提供了相应的用于训练语义表示模型的方法、电子设备和计算机可读介质。 |
