首页/ 杭州一知智能科技有限公司/ 专利详情

基于对比解耦元学习的非特定人的手语翻译方法和系统

基本信息

申请号 CN202110913167.7 申请日 -
公开（公告）号 CN113361505A 公开（公告）日 2021-09-07
申请公布号 CN113361505A 申请公布日 2021-09-07
分类号 G06K9/00;G06K9/62;G06N3/04 分类 计算；推算；计数;
发明人 张天翊;赵洲 申请（专利权）人 杭州一知智能科技有限公司
代理机构 杭州求是专利事务所有限公司 代理人 郑海峰
地址 311200 浙江省杭州市萧山区启迪路198号杭州湾信息港F座7楼
法律状态 -

摘要

摘要 本发明公开了一种基于对比解耦元学习的非特定人的手语翻译方法和系统，属于手语翻译领域。分别用多个特定手语者和未知手语者标记的手语视频‑目标句子对来训练模型，为了适应非特定人的条件，本发明提出新的框架—对比解耦元学习，该框架在模型架构和训练模式上都进行了改进，通过解耦模块分离编码器中的特定手语者特征和特定任务特征，消除了与翻译任务无关的信息，传统方法中均没有考虑这一点。此外，还利用获得的特定任务特征和已生成单词的自注意表示计算对比约束来促进帧‑词对齐，通过解耦和对比约束为彼此提供互补信息。利用细粒度策略对模型进行训练，在多种手语者自适应场景下同时进行元学习，能够对未知的手语者提供准确的翻译结果。