一种批处理数据分片方法、系统、计算机设备及存储介质
基本信息
| 申请号 | CN202110161596.3 | 申请日 | - |
| 公开（公告）号 | CN112988343A | 公开（公告）日 | 2021-06-18 |
| 申请公布号 | CN112988343A | 申请公布日 | 2021-06-18 |
| 分类号 | G06F9/48;G06F9/50;G06F9/54;G06F16/2455 | 分类 | 计算；推算；计数; |
| 发明人 | 刘胜平;崔俊荣;韩美荣 | 申请（专利权）人 | 开店宝科技集团有限公司 |
| 代理机构 | 上海硕力知识产权代理事务所（普通合伙） | 代理人 | 杨用玲 |
| 地址 | 201210 上海市浦东新区中国（上海）自由贸易试验区张江路665号3层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种批处理数据分片方法、系统、计算机设备及存储介质，其方法包括步骤：在客户端启动时，注册服务到Zookeeper；接收所述Zookeeper对新注册的消息发送的广播；查询所述Zookeeper更新后的节点列表；获得所述客户端对应的节点在所述节点列表中的当前排序位置，以及总注册数量；根据所述当前排序位置以及所述总注册数量，计算获得所述客户端对应的分片系数。该方案通过Zookeeper，能够实现批处理数据分片的动态、实时扩容，从而能够提高批处理任务的执行效率，有利于降低开发接入成本和开发难度。 |
