基于多语言高效数据采集方法、计算机程序
基本信息
| 申请号 | CN201810028948.6 | 申请日 | - |
| 公开（公告）号 | CN108153741B | 公开（公告）日 | 2021-10-15 |
| 申请公布号 | CN108153741B | 申请公布日 | 2021-10-15 |
| 分类号 | G06F40/58（2020.01）I;G06F16/9536（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 詹咏松;程国艮 | 申请（专利权）人 | 中译语通科技股份有限公司 |
| 代理机构 | 北京万贝专利代理事务所（特殊普通合伙） | 代理人 | 马红 |
| 地址 | 100040北京市石景山区石景山路20号16层1601 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于计算机软件技术领域，公开了一种基于多语言高效数据采集方法、计算机程序，包括：关键字录入；识别输入语言类型，对文本多语言翻译；对多语言关键字分发；根据各子系统特定性能获取调度服务器任务，调用相关引擎进行业务爬取；网页分成新闻内容页，新闻列表页，过滤无效信息；新闻页面直接对链接获取新闻信息；新闻列表页，启用二级爬虫子系统递归，页面二次分析，获取新闻列表页，获取新闻页面，获取新闻；获取新闻内容去重；合法数据的数据结构化存储。本发明通过搜索引擎实现快速新闻采集功能，实现系统多语言自动采集；快速去重；实现快速负载均衡，并支持动态加载移除采集引擎；降低ip消耗，提高采集效率。 |
