一种基于动态注意力机制的多事件视频描述方法
基本信息
| 申请号 | CN201911136308.8 | 申请日 | - |
| 公开（公告）号 | CN110929092A | 公开（公告）日 | 2020-03-27 |
| 申请公布号 | CN110929092A | 申请公布日 | 2020-03-27 |
| 分类号 | G06F16/71;G06F16/78;G06F16/75;G06N3/04 | 分类 | 计算；推算；计数; |
| 发明人 | 谢洪平;刘迪;诸雅琴;黄涛;陈勇;杜长青;吴威;王昊;林东阳;陈喆 | 申请（专利权）人 | 金卯新能源集团有限公司 |
| 代理机构 | 南京汇盛专利商标事务所（普通合伙） | 代理人 | 国网江苏省电力工程咨询有限公司;东南大学;金卯新能源集团有限公司;国网江苏省电力有限公司 |
| 地址 | 210000 江苏省南京市鼓楼区北京西路22号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于动态注意力机制的多事件视频描述方法，包括如下步骤：将视频序列输入三维卷积神经网络，提取视频的视觉特征；采用基于注意力机制的视频编码层对视觉特征进行编码，并将特征编码输入到事件预测层；事件预测层根据视频编码信息对各个事件进行预测；事件描述层根据事件预测结果获取各事件视觉特征，并动态结合自身的上下文信息产生各事件的文字描述。所述方法克服了现有多事件视频描述方法并行性差，效率低的缺点，同时保证了视频描述生成的准确性，并能够采用端到端的方式进行模型的训练。 |
