软件工程硕士论文栏目提供最新软件工程硕士论文格式、软件工程硕士硕士论文范文。详情咨询QQ:1847080343(论文辅导)

基于自监督学习的知识蒸馏算法探讨

日期:2024年04月06日 编辑:ad201107111759308692 作者:无忧论文网 点击次数:260
论文价格:150元/篇 论文编号:lw202403271504384895 论文字数:45222 所属栏目:软件工程硕士论文
论文地区:中国 论文语种:中文 论文用途:硕士毕业论文 Master Thesis
。该方法基于自监督学习的数据增强,利用在深度卷积神经网络的各个阶段添加的辅助网络和相似度计算模块来辨别增强数据与其他数据是否为正对,教师模型将多阶段相似度对比模块的输出作为新的监督信号用于指导学生模型的训练。通过一系列实验证明了通过MSCKD训练后的学生模型其性能得到了的提升。

对于第三章提出的多阶段相似度对比知识蒸馏方法,在第四章采用了针对性的知识蒸馏增强策略。首先是显著性增强策略,通过对图像数据集进行前景提取并复制粘贴至背景数据集生成新的数据增强图像,并以一定概率替换原本的数据增强方法,该方法能够提高相似度计算模块的前景定位能力,从而一定程度地提高了知识蒸馏方法的效果。然后基于MSCKD方法的模型框架,采用了一种学生互学习微调策略,即将经过MSCKD方法训练后学生模型再通过MSCKD框架进行互相学习,通过该方法能够让学生模型得到更加稳定更加健壮的收敛曲线,使模型在通过数据增强图片进行训练后的性能更加稳定。经过实验证明了本章提出的知识蒸馏增强策略能够进一步增强MSCKD知识蒸馏方法的效果。

参考文献(略)