一种基于适配器的迁移学习方法、装置、设备及存储介质专利查询专利号|摘要-满商公司网

一种基于适配器的迁移学习方法、装置、设备及存储介质

基本信息

申请号	CN202111396195.2	申请日	-
公开（公告）号	CN114091452A	公开（公告）日	2022-02-25
申请公布号	CN114091452A	申请公布日	2022-02-25
分类号	G06F40/289（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I	分类	计算；推算；计数;
发明人	王伟;黄勇其;于翠翠;张黔	申请（专利权）人	华润数字科技有限公司
代理机构	深圳市世联合知识产权代理有限公司	代理人	刘畅
地址	518000广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园2栋801
法律状态	-

摘要

本申请公开了一种基于适配器的迁移学习方法、装置、设备及存储介质，属于人工智能技术领域。本申请基于全连接网络和transformer模型的编码器构建初始迁移学习模型，其中，初始迁移学习模型包括若干个适配器，然后通过预处理后的训练样本对初始迁移学习模型进行预训练，并基于预训练结果计算每一个适配器的沙普利值，对每一个适配器的沙普利值进行降序排列，得到适配器贡献队列，通过适配器贡献队列对初始迁移学习模型进行调整和迭代，得到自注意力迁移学习模型。本申请采用适配器来进行不同学习任务中的知识迁移，降低了训练开销。此外，本申请在训练过程中根据每个适配器的沙普利值，对适配器的数量进行缩减，在迁移学习过程中进一步减少了训练开销。