模型的后门检测方法、装置、介质和计算设备
基本信息
申请号 | CN202011418502.8 | 申请日 | - |
公开(公告)号 | CN112257816B | 公开(公告)日 | 2021-09-21 |
申请公布号 | CN112257816B | 申请公布日 | 2021-09-21 |
分类号 | G06K9/62(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 张旭东;萧子豪;董胤蓬;朱建威;唐家渝;田天 | 申请(专利权)人 | 北京瑞莱智慧科技有限公司 |
代理机构 | 北京箴思知识产权代理有限公司 | 代理人 | 李春晖 |
地址 | 100084北京市海淀区清华科技园科技大厦B座18层 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种模型的后门检测方法、装置、介质和计算设备。该方法包括:提供用于检测后门的材料,其中,所述材料至少包括用于检测模型是否存在后门的检测样本集;基于所述检测样本集对所述模型的每一类别的输出进行搜索,以得到针对所述模型的每一类别的输出的多个还原结果,其中,所述还原结果用于表征基于一个或多个同类别检测样本,使所述模型的输出结果出错的修改量;根据所述模型的不同类别的输出的还原结果确定所述模型是否存在后门。根据本发明的技术方案,可以采用任何样本检测模型是否存在后门,而不必须是训练模型时使用的样本,给用户带来了更加方便的体验。且仅需提供输入输出反馈,无需模型具体结构和参数,保护了用户知识产权。 |
