一种多模态解耦生成模型的训练方法、系统及相关设备
基本信息
| 申请号 | CN202111479685.9 | 申请日 | - |
| 公开（公告）号 | CN114202024A | 公开（公告）日 | 2022-03-18 |
| 申请公布号 | CN114202024A | 申请公布日 | 2022-03-18 |
| 分类号 | G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈亚瑞;杨剑宁;徐肖阳;胡世凯;吴世伟;闫潇宁;许能华 | 申请（专利权）人 | 深圳市安软科技股份有限公司 |
| 代理机构 | 深圳君信诚知识产权代理事务所（普通合伙） | 代理人 | 刘伟 |
| 地址 | 518000广东省深圳市龙华新区龙华办事处清祥路清湖工业园宝能科技园7栋A座6楼ACDF | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明适用于多模态数据处理领域，提供了一种多模态解耦生成模型的训练方法、系统及相关设备，所述方法包括：构建包括模态共享因子编码器、模态私有因子编码器、重构数据解码器的多模态解耦生成模型；获取包含相同共享因子的数据对、不同共享因子的数据对构成的训练集；将所述训练集输入至所述多模态解耦生成模型中，利用损失函数对模型进行训练；将多模态数据输入所述多模态解耦生成模型，得到对应所述多模态数据的数据表示。本发明可以高效的抽取多模态数据的共享因子数据，在减小了多模态处理的计算开销的同时，也使生成图像数据更加清晰、更具备生成多样性，同时生成过程也具备可解释性。 |
