一种基于流计算自动化拆分消息的方法及系统
基本信息
| 申请号 | CN202210097067.6 | 申请日 | - |
| 公开（公告）号 | CN114116266B | 公开（公告）日 | 2022-05-17 |
| 申请公布号 | CN114116266B | 申请公布日 | 2022-05-17 |
| 分类号 | G06F9/54（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 王振乾;朱辉;张涛;薛延波;赵鹏 | 申请（专利权）人 | 北京华品博睿网络技术有限公司 |
| 代理机构 | 北京君泊知识产权代理有限公司 | 代理人 | - |
| 地址 | 100028北京市朝阳区太阳宫中路16号院1号楼18层1801内09 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例公开了一种基于流计算自动化拆分消息的方法，包括：在Apache Flink拆分引擎中，根据mvel表达式判断每条数据符合哪一个分流规则，可以拆分到哪一个topic队列中去，就将一个QPS很高的源topic，分流到多个不同的topic队列中去，从而完成自动化拆分消息的功能。本发明实施例还公开了一种基于流计算自动化拆分消息的系统。本发明解决了消费无效数据，集群负载很高的问题，使消费者直接读取拆分后的topic，而不是读取本消息队列，降低了集群的负载；下游程序无需要读取大量无效数据，可以降低下游处理程序使用的资源；并且用户可以根据需求配置拆分规则，灵活性强，扩展性好。 |
