一种基于图注意力的半结构文本分类方案专利查询专利号|摘要-满商公司网

一种基于图注意力的半结构文本分类方案

基本信息

申请号	CN202110415787.8	申请日	-
公开（公告）号	CN113312477A	公开（公告）日	2021-08-27
申请公布号	CN113312477A	申请公布日	2021-08-27
分类号	G06F16/35（2019.01）I	分类	计算；推算；计数;
发明人	周靖宇;黄嘉鑫;景泳霖;袁阳平;邹鸿岳	申请（专利权）人	北京快确信息科技有限公司
代理机构	深圳华屹智林知识产权代理事务所（普通合伙）	代理人	陈裕恒
地址	201700上海市青浦区浦仓路485号1幢2层
法律状态	-

摘要

一种基于图注意力的半结构文本分类方案，它包含以下技术方案步骤：步骤一，文本预处理、数据清洗，形成图矩阵；步骤二，形成编码层，采用albert预训练模型获取embedding矩阵；步骤三，对embedding矩阵进行attention操作，并基于图矩阵进行加权计算；步骤四，对特征向量矩阵压缩后进行文本分类。针对金融领域文本分类问题，尤其是在半结构化的文本的情况下，寻常的分类器无法结合结构化信息进行识别，给出一种提取结构信息并且融入到分类系统中，对最终的分类器准确率提升是行之有效的，同时针对模型结构，尤其是取末尾几层transformer、跨句间结构权重比同句内更高、multi‑headattention等步骤，大大提高了信息表征抽取的能力，从而增加最后softmax分类的准确率，具有较大的市场推广价值。