对于第三章提出的多阶段相似度对比知识蒸馏方法,在第四章采用了针对性的知识蒸馏增强策略。首先是显著性增强策略,通过对图像数据集进行前景提取并复制粘贴至背景数据集生成新的数据增强图像,并以一定概率替换原本的数据增强方法,该方法能够提高相似度计算模块的前景定位能力,从而一定程度地提高了知识蒸馏方法的效果。然后基于MSCKD方法的模型框架,采用了一种学生互学习微调策略,即将经过MSCKD方法训练后学生模型再通过MSCKD框架进行互相学习,通过该方法能够让学生模型得到更加稳定更加健壮的收敛曲线,使模型在通过数据增强图片进行训练后的性能更加稳定。经过实验证明了本章提出的知识蒸馏增强策略能够进一步增强MSCKD知识蒸馏方法的效果。
参考文献(略)