数据采集量的监测方法、系统、电子设备及存储介质专利查询专利号|摘要-满商公司网

数据采集量的监测方法、系统、电子设备及存储介质

基本信息

申请号	CN202110310597.X	申请日	-
公开（公告）号	CN113051499A	公开（公告）日	2021-06-29
申请公布号	CN113051499A	申请公布日	2021-06-29
分类号	G06F16/955;G06F16/9532	分类	计算；推算；计数;
发明人	王琛;朱玉林;李青龙	申请（专利权）人	北京智慧星光信息技术有限公司
代理机构	北京智宇正信知识产权代理事务所（普通合伙）	代理人	李明卓
地址	100080 北京市海淀区海淀大街8号A座22层A区
法律状态	-

摘要

本发明公开了一种数据采集量的监测方法、系统、电子设备及存储介质，该方法包括：获取包括若干条采集数据的采集数据源；根据每一条采集数据分别获取字段信息，字段信息包括标签值、配置cid和详情页数据量；分别判断标签值是否等于预设值；不等于预设值则过滤采集数据；等于预设值则将字段信息存入MySQL数据库得到有效数据集；遍历有效数据集中所有配置cid，根据每一个配置cid查询所对应的频道URL数据量；将配置cid所对应的数据量相加得到频道URL总数据量；判断总数据量是否大于预设URL数量；若总数据量不大于预设URL数量则根据配置cid的详情页数据量进行数据监测；若总数据量大于预设URL数量则根据配置cid的频道URL数据量进行数据监测，实现了数据量的自动监测。