首页/ 杭州每刻科技有限公司/ 专利详情

一种数据文件上传处理方法和系统

基本信息

申请号 CN202210147890.3 申请日 -
公开（公告）号 CN114546955A 公开（公告）日 2022-05-27
申请公布号 CN114546955A 申请公布日 2022-05-27
分类号 G06F16/16（2019.01）I;G06F16/172（2019.01）I;H04L67/06（2022.01）I 分类 计算；推算；计数;
发明人 曾觉锐;丁佳军;郑祥康;叶正卿;魏美钟 申请（专利权）人 杭州每刻科技有限公司
代理机构 杭州裕阳联合专利代理有限公司 代理人 -
地址 310000浙江省杭州市钱塘新区万晶湖畔中心西区2幢1501室
法律状态 -

摘要

摘要 本发明公开了一种数据文件上传处理方法和系统，所述方法包括入下步骤：获取前端数据文件，将所述数据文件分片断点上传至OSS平台；生成所述数据文件的上传记录列表，所述上传记录列表包含文件id；调用RocketMQ将所述文件id发送到异步消息服务器；所述异步消息服务器分批下载所述OSS平台的数据文件，并执行所述数据文件的异步处理。所述方法和系统提供了一种异步处理的大数据的文件处理方法，可以降低系统的复杂度，并且使得消息上传和数据处理之间进行行为解耦，提高了文件上传系统的复用能力和水平扩容能力。