基于多模态的自动弹幕生成方法、系统、存储介质及设备
基本信息
| 申请号 | CN202110101966.4 | 申请日 | - |
| 公开（公告）号 | CN112995748A | 公开（公告）日 | 2021-06-18 |
| 申请公布号 | CN112995748A | 申请公布日 | 2021-06-18 |
| 分类号 | H04N21/435;H04N21/488;H04N21/4788 | 分类 | 电通信技术; |
| 发明人 | 孙晓飞;周毅成 | 申请（专利权）人 | 浙江香侬慧语科技有限责任公司 |
| 代理机构 | 北京国科程知识产权代理事务所（普通合伙） | 代理人 | 曹晓斐 |
| 地址 | 311121 浙江省杭州市余杭区余杭街道文一西路1818-2号9幢903室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请公开了一种基于多模态的自动弹幕生成方法、系统、存储介质及设备，属于网络视频播放技术领域。该方法包括将视频中包含具体时间点的同一时间段内的多模态信息进行采样编码处理，得到对应的多模态特征向量；利用融合模型，将多模态特征向量中的图像信息特征向量、音频信息特征向量或者文本信息特征向量中的至少两者进行融合，得到融合特征向量；以及利用弹幕生成模型，将融合特征向量生成视频在具体时间点的弹幕。本申请结合多模态，自动生成当前视频时间点的弹幕，增强了观众之间的交互度，以及有效丰富了视频内容性。 |
