一种个性化联邦学习权重压缩方法
基本信息
| 申请号 | CN202210284196.6 | 申请日 | - |
| 公开（公告）号 | CN114692897A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114692897A | 申请公布日 | 2022-07-01 |
| 分类号 | G06N20/20（2019.01）I;G06N3/08（2006.01）I;G06N3/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 熊章银;文世挺;吕龙进;叶朝伟;肖辉;庞超逸 | 申请（专利权）人 | 浙大宁波理工学院 |
| 代理机构 | 宁波甬致专利代理有限公司 | 代理人 | - |
| 地址 | 315100浙江省宁波市鄞州高教园区钱湖南路1号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种个性化联邦学习权重压缩方法，将每个客户端的神经网络模型分为全局共享层和个性化层，客户端与服务器之间只传输全局共享层的权重，个性化层则在客户端本地更新；同时采用在预热训练和权重稀疏训练的基础上增加权重累积的方法，预热训练过程中不进行权重压缩，能够提升神经网络模型的准确率，权重稀疏是指每轮训练只传输大于预定义阈值的权重值；权重累积是指每轮训练都在本地累积上轮训练的权重值，让小权重逐渐累积变大也有机会被传输，使得神经网络模型中较小的权重值也能全局更新，有效地提升权重压缩的精度，降低精度损失，同时也减少了客户端和服务器之间的传输的权重参数，降低了客户端和服务器之间的通信代价。 |
