一种针对人工智能自然语言处理的BERT算法模型专利查询专利号|摘要-满商公司网

一种针对人工智能自然语言处理的BERT算法模型

基本信息

申请号	CN202110780528.5	申请日	-
公开（公告）号	CN113656072A	公开（公告）日	2021-11-16
申请公布号	CN113656072A	申请公布日	2021-11-16
分类号	G06F9/38（2006.01）I;G06F9/50（2006.01）I;G06F40/211（2020.01）I;G06K9/62（2006.01）I	分类	计算；推算；计数;
发明人	杨龚轶凡;王润哲;闯小明;郑瀚寻	申请（专利权）人	苏州仰思坪半导体有限公司
代理机构	北京棘龙知识产权代理有限公司	代理人	张开
地址	215000江苏省苏州市高新区马涧路2000号1幢11层1113-2室
法律状态	-

摘要

本发明公开了一种针对人工智能自然语言处理的BERT算法模型，包括：用于加速Bert训练和推理效率的BERT预处理数据的组合方式；用于存储Bert模型参数以及训练推理数据的不同级别的存储单元；用于存储计算所需的临时数据，加快算法的运算效率的提供高速访问的寄存器单元；用于对Bert算法的训练与推理进行批量化处理的，矢量与矩阵等运算单元并行运算方式，本发明针对BERT算法的特质与目标芯片的存储与计算单元，智能的选择最优编译方式，并自动平衡最小功耗与最大执行速度，从而高效的使用BERT对自然语言进行处理。通过本发明，相对于普通CPU与GPU编译方式，BERT算法可以提升约10倍的效率并节省至多30％的能耗。