深度神经网络推理计算中一种基于Profile图的优化方法

基本信息

申请号 CN202011022468.2 申请日 -
公开(公告)号 CN112149826A 公开(公告)日 2020-12-29
申请公布号 CN112149826A 申请公布日 2020-12-29
分类号 G06N3/08(2006.01)I 分类 计算;推算;计数;
发明人 李春江;夏一民;刘宗林;龚国辉;刘蓬侠;罗恒;王磊;赵祥;徐雪刚 申请(专利权)人 湖南长城银河科技有限公司
代理机构 长沙市护航专利代理事务所(特殊普通合伙) 代理人 湖南长城银河科技有限公司
地址 410008湖南省长沙市高新开发区尖山路39号长沙中电软件园一期15栋
法律状态 -

摘要

摘要 本发明提供了一种深度神经网络推理计算中一种基于Profile图的优化方法,所述深度神经网络推理计算中一种基于Profile图的优化方法包括如下步骤:步骤S1、获取深度神经网络推理计算节点的包含计算量和计算时间的Profile信息;步骤S2、将Profile信息与深度神经网络模型结构描述融合,形成Profile图:根据深度神经网络结构描述文件、Profile信息以及计算核心的信息,构建包含计算量、计算时间、计算函数的Profile图,用于指导计算调度;步骤S3、基于深度神经网络Profile图的计算核心调度,实现性能优化。本发明可以对深度神经网络推理全过程的计算工作负载有更清晰直接的认识,可实现面向具体计算设备计算资源的性能优化调度。