基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置专利查询专利号|摘要-满商公司网

基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置

基本信息

申请号	CN202210190627.2	申请日	-
公开（公告）号	CN114565103A	公开（公告）日	2022-05-31
申请公布号	CN114565103A	申请公布日	2022-05-31
分类号	G06N20/00（2019.01）I	分类	计算；推算；计数;
发明人	杨树森;任雪斌;赵鹏;周子昊;李亚男;吴帅君	申请（专利权）人	杭州卷积云科技有限公司
代理机构	西安通大专利代理有限责任公司	代理人	-
地址	310000浙江省杭州市余杭区仓前街道良睦路1288号6幢302-1室
法律状态	-

摘要

本发明公开了一种基于梯度选择和自适应学习率的加权K异步联邦学习方法、系统及装置，包括：云端初始化模型和学习率参数并广播当前的迭代次数和当前的全局模型。学习者接收广播的模型和迭代次数进行本地训练，当完成本地训练后将更新上传至云端。云端接收K个更新后，升级模型参数。通过累积历史梯度缓解异质性数据的影响，并基于延时程度聚合K个梯度缓解延时性的影响，并估计全局无偏梯度；然后选择与估计梯度下降方向一致的梯度，赋予权重；进一步裁剪延时梯度，并调整学习速率，更新并广播模型参数和迭代次数。重复云端和学习者的交互，直至模型的测试损失小于阈值，模型收敛。本发明根据延时程度自适应调整学习速率，提高了模型的预测精度。