一种基于特征解耦合的文字-图像对生成方法和装置
基本信息
| 申请号 | CN202210148651.X | 申请日 | - |
| 公开（公告）号 | CN114677569A | 公开（公告）日 | 2022-06-28 |
| 申请公布号 | CN114677569A | 申请公布日 | 2022-06-28 |
| 分类号 | G06V10/80（2022.01）I;G06V10/40（2022.01）I;G06V30/18（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 王蕊;梁栋;李太豪;裴冠雄 | 申请（专利权）人 | 中国科学院信息工程研究所 |
| 代理机构 | 杭州浙科专利事务所（普通合伙） | 代理人 | - |
| 地址 | 311100浙江省杭州市余杭区中泰街道之江实验室南湖总部 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种基于特征解耦合的文字‑图像对生成方法和装置，该方法首先利用带标注的文字‑图像对数据训练编码器，将文字和图像两种模态映射到同一个隐空间；然后利用无标注的图像数据训练图像编码器和解码器，同时利用无标注的文字数据训练文字编码器与解码器；利用训练好的文字‑图像特征编码器网络提取文字‑图像初始特征，在隐空间加入随机采样的噪声后进行解耦合，利用解码器生成多样化的文字‑图像对。本发明在自然场景中，例如改变纹理、颜色等高层语义属性，都可以实现较好的文本‑图像数据编辑。 |
