一种汽车车型网络价格监测系统
基本信息
申请号 | CN202010750740.2 | 申请日 | - |
公开(公告)号 | CN111814023B | 公开(公告)日 | 2021-06-15 |
申请公布号 | CN111814023B | 申请公布日 | 2021-06-15 |
分类号 | G06F16/951(2019.01)I;G06F16/27(2019.01)I;G06F16/25(2019.01)I;G06F16/248(2019.01)I;G06F16/22(2019.01)I;G06F16/182(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 孙一帅;李奏换;龚鹤皋;陈楚豪;郭建铮;梁维新 | 申请(专利权)人 | 广州威尔森信息科技有限公司 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 黄忠 |
地址 | 510623广东省广州市天河区珠江东路12号1201房之全层(仅限办公用途) | ||
法律状态 | - |
摘要
摘要 | 本申请公开了一种汽车车型网络价格监测系统,数据采集模块通过爬虫技术从汽车网站采集汽车车型网络价格数据并存储至预置数据库;数据同步模块将预置数据库的网络价格数据同步到Hadoop大数据平台的分布式文件系统HDFS;数据预处理模块将HDFS的汽车车型网络价格数据加载到Hive表,对Hive表中的汽车车型网络价格数据依次进行异常值过滤、重复值过滤、车型型号匹配和汇总,得到预处理后的汽车车型网络价格数据;数据计算模块根据预置计算规则对预处理后的汽车车型网络价格数据进行计算;可视化模块对计算结果进行可视化,解决了现有的汽车车型价格的获取和处理采用人工处理,存在数据采集和处理时间长,处理效率低的技术问题。 |
