一种电商大数据处理方法、装置、设备及存储介质
基本信息
| 申请号 | CN202111237956.X | 申请日 | - |
| 公开（公告）号 | CN113672687B | 公开（公告）日 | 2022-02-15 |
| 申请公布号 | CN113672687B | 申请公布日 | 2022-02-15 |
| 分类号 | G06F16/27（2019.01）I;G06F16/25（2019.01）I;G06F16/2457（2019.01）I;G06F9/54（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 隋国栋;高景洋;刘峰;刘超 | 申请（专利权）人 | 北京值得买科技股份有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100071北京市丰台区汽车博物馆东路1号院3号楼33层3801 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明是关于一种电商大数据处理方法、装置、设备及存储介质。该方法包括：通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；将RDD转换成DataFrame；通过电商网站ID及上下架条件，过滤DataFrame中的数据；将过滤数据后的DataFrame重新转换成RDD；通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；将生成的最优调度项，按任务频次推入到不同的链接池中。本发明提供的技术方案，大大提高商品数据的调度速度，且调度商品数据量稳定，大大减少了取分区数据读取失败的情况。 |
