一种海量数据处理并发任务自适应测控方法及系统

基本信息

申请号 2020111679488 申请日 -
公开(公告)号 CN112269660A 公开(公告)日 2021-01-26
申请公布号 CN112269660A 申请公布日 2021-01-26
分类号 G06F9/50(2006.01)I 分类 计算;推算;计数;
发明人 鞠洪尧;施美;吕高赟;施云;谢志军;姚雪存;陆正球;宁可;于虹 申请(专利权)人 斐戈集团股份有限公司
代理机构 北京君恒知识产权代理有限公司 代理人 郑黎明
地址 315000浙江省宁波市江北区风华路495号
法律状态 -

摘要

摘要 本发明公开了一种海量数据处理并发任务自适应测控方法,包括通过参数扫描器对应用服务器群、数据库服务器群进行扫描,将步扫描到的硬件参数发送到性能指标匹配判定器内并进行工程匹配性判定,将通过累加获得的应用服务器群CPU线程总数和数据库服务器群CPU线程总数发送至群性能匹配判定器进行工程判定。通过数据分割器对待处理的数据表进行等值分割,通过并发任务控制器启动与其CPU线程数等量的并发数据处理任务,进行实时数据处理。优点是对关键服务器的最佳并发任务数与CPU核心数、线程数、内存容量等硬件性能进行自适应匹配,克服了服务器在处理海量数据时的处理任务轻载或过载问题,提高数据处理效率。