首页/ 武汉长江通信产业集团股份有限公司/ 专利详情

一种基于双向Transformer模型的层级标签抽取方法

基本信息

申请号 CN202111021402.6 申请日 -
公开（公告）号 CN113705704A 公开（公告）日 2021-11-26
申请公布号 CN113705704A 申请公布日 2021-11-26
分类号 G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分类 计算；推算；计数;
发明人 金勇;陈宏明;胡林利 申请（专利权）人 武汉长江通信产业集团股份有限公司
代理机构 上海精晟知识产权代理有限公司 代理人 刘点
地址 430000湖北省武汉市东湖开发区关东工业园文华路2号
法律状态 -

摘要

摘要 本发明公开了一种基于双向Transformer模型的层级标签抽取方法，包括如下步骤：通过无监督预训练文本数据得到特征向量；利用双向Transformer模型对特征向量进一步调优；结合多层标签知识库体系，利用softmax和人工标注标签对嵌套Multi‑Class分类模型进行监督式训练；最后输出层级预测标签。本发明采用双向Transformer模型，结合多级标签嵌套到multi‑class分类模型中学习训练。本发明方法实现了对于文本多级分类标签的学习，可用于网络舆情文本的自动标签（某领域的若干特定标签），以及警务平台中的案情分析（案件手法的层层深入），从而实现对于文本数据的立体标签化。