一种图像描述模型的训练方法及训练装置
基本信息
| 申请号 | CN202111341668.9 | 申请日 | - |
| 公开（公告）号 | CN114090815A | 公开（公告）日 | 2022-02-25 |
| 申请公布号 | CN114090815A | 申请公布日 | 2022-02-25 |
| 分类号 | G06F16/583（2019.01）I;G06F40/126（2020.01）I;G06F40/194（2020.01）I;G06K9/62（2022.01）I;G06V10/74（2022.01）I;G06V10/774（2022.01）I;G06V10/82（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 曹晚霞;朱飞 | 申请（专利权）人 | 海信电子科技（武汉）有限公司 |
| 代理机构 | 北京弘权知识产权代理有限公司 | 代理人 | 逯长明;许伟群 |
| 地址 | 430073湖北省武汉市东湖新技术开发区软件园东路1号软件产业4.1期B2栋13层02号-2 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括：针对图文对训练集中任一候选图像，首先输入词粒度训练后的图像描述模型得到候选预测文本，然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后，再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加，得到当前奖励值，根据当前奖励值获取参数更新梯度，进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来，使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本，可以提高图像描述模型的预测精度。 |
