一种基于层级外部语义指导的图像故事生成方法
基本信息
| 申请号 | CN202111352215.6 | 申请日 | - |
| 公开（公告）号 | CN114186055A | 公开（公告）日 | 2022-03-15 |
| 申请公布号 | CN114186055A | 申请公布日 | 2022-03-15 |
| 分类号 | G06F16/34（2019.01）I;G06F16/35（2019.01）I;G06F16/583（2019.01）I;G06F16/783（2019.01）I;G06F40/35（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 王瀚漓;范瑞潮;王雷 | 申请（专利权）人 | 深兰科技（上海）有限公司 |
| 代理机构 | 上海科盛知识产权代理有限公司 | 代理人 | 翁惠瑜 |
| 地址 | 200092上海市杨浦区四平路1239号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于层级外部语义指导的图像故事生成方法，包括以下步骤：提取图像特征，对所述图像特征进行循环编码，获得视频嵌入向量；将图像作为经训练的图像‑话题模型的输入，获得语义嵌入向量，所述图像‑话题模型基于外部预训练的话题BERT模型获得的话题向量训练获得，所述语义嵌入向量作为故事生成过程的单词级别的语义约束；将所述视频嵌入向量和语义嵌入向量共同输入一经训练的协同注意力模型中，解码生成故事，所述协同注意力模型训练过程中以基于外部预训练的话题BERT模型获得的句向量作为句子级别的语义约束。与现有技术相比，本发明具有提高生成故事的准确性和连贯性等优点。 |
