首页/ 合肥天毅网络传媒有限公司/ 专利详情

一种基于深度学习的分词器训练方法及其装置

基本信息

申请号 CN201910312228.7 申请日 -
公开（公告）号 CN110032619A 公开（公告）日 2019-07-19
申请公布号 CN110032619A 申请公布日 2019-07-19
分类号 G06F16/31;G06F16/35;G06F17/27;G06K9/62;G06N20/00 分类 计算；推算；计数;
发明人 汪齐顺 申请（专利权）人 合肥天毅网络传媒有限公司
代理机构 上海精晟知识产权代理有限公司 代理人 冯子玲
地址 230000 安徽省合肥市高新区信息产业基地桑夏1#综合楼323室
法律状态 -

摘要

摘要 本发明公开了一种基于深度学习的分词器训练方法及其装置，涉及数据处理领域。本发明包括如下步骤：步骤S1：利用网络爬虫技术获取大量网页文本语料；步骤S2：对获取的文本语料进行类型筛选；步骤S3：采用分词器对筛选后的不同类型的文本语料进行分词处理和分句处理得到训练集；步骤S4：删除训练集中具有歧义或错误的训练子集；步骤S5：将训练子集输入模型进行训练；步骤S6：计算每次训练迭代的损失函数，获取各类型的最优模型。本发明通过网络爬虫获取大量文本语料，并对文本语料进行类型不同筛选，根据类型对文本语料进行分词处理并作为训练集进行模型训练，再通过损失函数获取最优模型，提高了分词器的准确率和效率。