一种提升人机交互对话语料质量与多样性的对话语料库生成方法
基本信息
申请号 | CN201911271656.6 | 申请日 | - |
公开(公告)号 | CN111026884A | 公开(公告)日 | 2020-04-17 |
申请公布号 | CN111026884A | 申请公布日 | 2020-04-17 |
分类号 | G06F16/36;G06K9/62 | 分类 | 计算;推算;计数; |
发明人 | 张献涛;张猛;暴筱;林小俊 | 申请(专利权)人 | 南昌众荟智盈信息技术有限公司 |
代理机构 | 北京君尚知识产权代理有限公司 | 代理人 | 南昌众荟智盈信息技术有限公司 |
地址 | 330000 江西省南昌市东湖区阳明东路66号央央春天投资大厦1号楼15层1506室 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种提升人机交互对话语料质量与多样性的对话语料库生成方法。本方法为:1)对所选对话语料进行同义句扩展,形成一候选集合;2)对该候选集合中的每一对话语料进行异常检测,得到各对话语料的异常值;3)将异常值低于设定打分阈值的对话语料保存到提升后的对话语料库中;4)对异常值高于或等于该打分阈值的对话语料进行语义分析:如果是错误的对话数据,则直接丢弃;如果是多样性的对话数据,则执行步骤5);否则将当前对话语料保存到提升后的对话语料库中;5)将判定为多样性的对话数据重新作为输入,执行步骤1~4)直到达到暂停条件,停止迭代。本发明实现了对原始对话语料进行质量的控制和多样性的扩充。 |
