一种数据获取方法、装置、电子设备及存储介质

基本信息

申请号 CN202010030599.9 申请日 -
公开(公告)号 CN111240843A 公开(公告)日 2020-06-05
申请公布号 CN111240843A 申请公布日 2020-06-05
分类号 G06F9/50(2006.01)I 分类 计算;推算;计数;
发明人 余虹建;李锦丰 申请(专利权)人 北京聚云立方科技有限公司
代理机构 北京市广友专利事务所有限责任公司 代理人 北京猎豹移动科技有限公司;北京聚云立方科技有限公司
地址 100041北京市石景山区实兴大街30号院3号楼2层A-0071号
法律状态 -

摘要

摘要 本发明实施例公开一种数据获取方法、装置、电子设备及存储介质,涉及计算机技术领域,能够有效提高模型训练中训练数据的获取速度。所述数据获取方法,包括:确定训练数据集所需的数据存储空间与内存剩余空间的大小关系;在所述数据存储空间大于所述内存剩余空间的情况下,根据预设策略,在所述训练数据集中选择至少一个文件为目标文件;将所述目标文件存储在预先建立的数据变量中,以便从所述数据变量中获取所述目标文件。本发明适用于机器学习的模型训练中。