(2)本文提出了一种新的异构知识蒸馏算法:基于辅助型中间特征融合匹配的知识蒸馏方法。为了在模型中准确地提取和传递知识,将教师网络和学生网络模块划分为多个模块用于构建教师网络和学生网络模块特征的对等交流学习的教师辅助训练模块,并提取教师辅助训练模块中各个模块输出的特征。对这些教师网络与学生网络交换信息处理后的模块特征进行整合后,输入特征融合模块计算出与学生网络各模块特征的差距从而达到指导学生网络训练的目的。与以往的异构知识蒸馏相比,既保证了特征迁移的可靠性,又在训练过程中使教师网络和学生网络的特征信息对等交流,充分利用异构知识蒸馏的优势达到了较好的实验效果。
参考文献(略)