一种自动优化、更新的主题库构建方法,及热点事件实时更新方法

基本信息

申请号 CN202111188831.2 申请日 -
公开(公告)号 CN113934910A 公开(公告)日 2022-01-14
申请公布号 CN113934910A 申请公布日 2022-01-14
分类号 G06F16/951(2019.01)I;G06F16/33(2019.01)I;G06F16/35(2019.01)I;G06K9/62(2022.01)I 分类 计算;推算;计数;
发明人 周洁琴;周金明 申请(专利权)人 南京视察者智能科技有限公司
代理机构 - 代理人 -
地址 210014江苏省南京市秦淮区永智路6号南京白下高新技术产业园区四号楼A栋102室
法律状态 -

摘要

摘要 本发明公开了一种自动优化、更新的主题库构建方法,及热点事件实时更新方法,其中主题库构建方法包括:获取主题库的历史文档数据:确定历史文档数据的互联网信息来源,通过爬虫工具爬取上述确定的互联网信息来源网站一段时间的历史文档数据;对获取到的历史文档数据进行文本预处理,将经过预处理的历史文档数据的标题和正文进行合并;使用TF‑IDF算法计算每个文档中出现词语的权重,采用聚类算法相结合的方法,对每个文档进行聚类,设定爬虫工具的爬取周期,来更新每个主题库下的关键词词典。通过爬取历史网页数据,生成不同主题库下的关键词词典,再根据关键词词典实时定向爬取网页数据,来自动更新主题库。