一种针对新闻媒体批量加密数据的采集方法
基本信息
| 申请号 | CN202111557743.5 | 申请日 | - |
| 公开（公告）号 | CN113934914B | 公开（公告）日 | 2022-03-01 |
| 申请公布号 | CN113934914B | 申请公布日 | 2022-03-01 |
| 分类号 | G06F16/951（2019.01）I;G06F16/955（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 李林;吴雷;孙于扬 | 申请（专利权）人 | 成都橙视传媒科技股份公司 |
| 代理机构 | 成都九鼎天元知识产权代理有限公司 | 代理人 | 孙元伟 |
| 地址 | 610000四川省成都市高新区科园二路10号2栋2单元13层1号、2号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种针对新闻媒体批量加密数据的采集方法，属于新闻媒体数据采集领域，包括步骤：S1，将数据库中的网址url、站名内容分别添加至由redis实现的url去重集合及由redis实现的url队列；S2，用puppeteer进程去消费由redis实现的url队列中的数据；S3，获取网页数据html，将其加入到由redis实现的html队列中，并将由redis实现的html队列标记区分为列表页网页数据html或内容页网页数据html；S4，解析由redis实现的html队列中的数据并处理。本发明更容易实现批量加密数据的采集，且具有效率高、成本低、维护容易等优点。 |
