一种面向金融场景的端到端自然语言处理训练框架与方法专利查询专利号|摘要-满商公司网

一种面向金融场景的端到端自然语言处理训练框架与方法

基本信息

申请号	CN202111163479.7	申请日	-
公开（公告）号	CN113887230A	公开（公告）日	2022-01-04
申请公布号	CN113887230A	申请公布日	2022-01-04
分类号	G06F40/295（2020.01）I;G06F40/30（2020.01）I;G06F16/35（2019.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06Q40/02（2012.01）I	分类	计算；推算；计数;
发明人	付志兵;张梦超;李渔;费斌杰	申请（专利权）人	北京熵简科技有限公司
代理机构	上海剑秋知识产权代理有限公司	代理人	徐浩俊
地址	100085北京市海淀区上地三街9号D座3层D408
法律状态	-

摘要

本发明公开了一种面向金融场景的端到端自然语言处理训练框架与方法，涉及自然语言处理领域，所述训练框架包括：Google原生BERT模块、FinBERT预训练模块、基于类似self‑training思想从外部相关数据中挖掘新数据模块、下游任务语料上进行预训练模块、用半监督学习的框架来充分利用无标签语料模块、知识蒸馏模块、线上部署模块。所述训练方法包括以：步骤1、FinBERT预训练；步骤2、基于类似self‑training思想从外部相关数据中挖掘新数据；步骤3、下游任务语料上进行预训练，对所述FinBERT进行再一次预训练，得到的模型称之为TASK FinBERT；步骤4、用半监督学习的框架来充分利用无标签语料，在TASK FinBERT的基础上，训练得到的模型称之为UDA FinBERT；步骤5、蒸馏学习，将学习到的知识和特征蒸馏到轻量级模型上。