首页/ 北京聚云立方科技有限公司/ 专利详情

一种数据获取方法、装置、电子设备及存储介质

基本信息

申请号 CN202010030600.8 申请日 -
公开（公告）号 CN111258965A 公开（公告）日 2020-06-09
申请公布号 CN111258965A 申请公布日 2020-06-09
分类号 G06F16/172(2019.01)I 分类 计算；推算；计数;
发明人 余虹建;李锦丰 申请（专利权）人 北京聚云立方科技有限公司
代理机构 北京市广友专利事务所有限责任公司 代理人 北京猎豹移动科技有限公司;北京聚云立方科技有限公司
地址 100041北京市石景山区实兴大街30号院3号楼2层A-0071号
法律状态 -

摘要

摘要 本发明实施例公开一种数据获取方法、装置、电子设备及存储介质，涉及计算机技术领域，能够有效提高模型训练中训练数据的获取速度。所述数据获取方法，包括：确定训练数据集所需的数据存储空间与内存剩余空间的大小关系；在所述数据存储空间大于所述内存剩余空间的情况下，根据预设策略，在所述训练数据集中选择至少一个文件为目标文件；在所述目标文件首次被读取后，将所述目标文件保留在内核的页缓存中，以便将来再次读取所述目标文件时从所述内核的页缓存中获取所述目标文件。本发明适用于机器学习的模型训练中。