本文是一篇电子信息类论文，本文提出了两种算法用来实现泌尿系结石类型的术前分类，并针对算法落地困难、数据不能完全被利用等问题，对算法进行了改进，提高了算法的准确度。
第一章 绪论
1.1 研究背景及意义
泌尿系结石病，通常称为尿石病，是最常见的泌尿外科疾病之一[1]。其患病率因地区和人群的差异而有所不同，但总体上呈现上升趋势，影响着大约5%至10%的全球人口，尤其在中年男性群体中更为常见[2]。此外，尿石病的五年内复发率高达50%，患者可能将长期面临复发的风险[3]。所以对尿石病的诊断、治疗及预后情况等具有重要的临床意义。
泌尿系结石病症呈现多样化，不同类型的尿结石需要采取不同的治疗方法。尿结石按其形成位置可分类为肾脏、输尿管、膀胱和尿道结石。按照化学成分的不同则将结石分为单一成分结石和复合成分结石，常见的单纯型结石如草酸钙、磷酸钙、硬磷酸铵镁、胱氨酸及尿酸结石，其中以草酸钙结石居多[4]。混合型结石则由两种或以上的单纯型结石构成。结石种类不同，外观与质地特点也有明显区别：例如，草酸钙结石硬度高，呈深褐色，表面粗糙不平；磷酸钙结石多为鹿角状，灰白色，具一定的层次结构；硬磷酸铵镁表面光滑，容易引发感染；胱氨酸结石呈现淡黄色晶体，较为柔软；而尿酸结石则显棕红色，呈细颗粒状[5]。
治疗上，由于尿酸和胱氨酸结石易于溶解，可通过调整尿液pH值的药物治疗来解决，从而省去手术取石的痛苦。相反，草酸钙结石因其硬度大，对冲击波碎石效果不佳，更适合经由经皮肾镜进行取石。感染性的硬磷酸铵镁结石则需要先进行抗感染治疗，随后再进行外冲击波碎石[6]。如果治疗的方式不正确，可能会对病人造成额外的危险。因此，在手术前精确识别结石类型将极大优化治疗方案[7]。
1.2 国内外研究现状
1.2.1 基于深度学习的医学图像处理技术
近些年来，随着人工智能技术的不断进步，它在医学图像处理的应用越来越广泛，已经对医疗影像分析的方式产生了革命性的影响。深度学习驱动的计算机辅助诊断（CAD）系统能够自动从医学图像中识别出关键特征，并从中学到有用的信息，以此辅助诊断决策。此方法已经逐渐成为临床研究领域的重要发展动向，并已被证明可以显著提升临床诊断的准确性[22]。医学图像本身由于其结构的复杂性和较低的对比度特性，即使是专业医生，在没有经过相应培训的情况下也难以进行精确诊断。而CNN技术，作为深度学习中的一种重要技术，它在图像处理方面显示出其特有的优越性，不仅能够减轻医务工作者的工作负担，还能有效降低误诊率。CNN包含许多层，这些层使用小范围的卷积过滤器来变换其输入。自70年代末以来，人们一直在研究CNN，并于1995年由Lo等人(1995)[23]将其应用于医学图像处理方面[23]。并且在LeN et(LeCun等人，1998)[24]中成功使用了手写数字识别程序。虽然取得了一些成果，但直到开发出各种有效训练深层网络的新技术，并在核心计算系统方面取得一些进展以后，CNN的使用才获得了极大的进展。直到Krizhevsky等人在2012年12月对ImageNet挑战做出贡献，CNN被拟议名为AlexNet[25]，并且以较大优势赢得了竞赛。在随后的几年中，VGGNet[26]、 GoogLeNet[27] 等CNN技术在图像识别方面的性能得到了显著增强。在计算机视觉中，深度卷积网络现在已成为首选技术。
第二章 图像分类相关技术及基础知识
2.1 深度学习概述
深度学习这一概念首次出现是在2006年，由Hinton等人引入，它是建立在人工神经网络之上的一种技术，通过增强特征提取能力和加深网络层次结构等方式得到了发展和进步[52]。深度学习与传统的机器学习相比的一个显著优势是它能够自动化地进行特征提取，它在模拟人脑分析和处理数据方面的方法上取得了重大进展，特别是在检测、识别和分类大量复杂数据等方面。深度学习的核心是神经网络，那些具有多层（或隐藏层）的网络，被称为深层神经网络。每一层都包含有许多非线性处理单元——神经元，它们可以从原始输入数据中提取并转换特征，层与层之间更深的层次则可以处理更高级、更抽象的概念[53]。
深度学习是机器学习的一个子领域，它受到生物神经网络的启发，通过构建复杂的、层次分明的神经网络来处理并模拟人脑处理信息的方式。这些网络，通过多层的神经元连接，能够自动学习数据的多层次表征和特征，进行高度复杂的数据建模。
深度学习模型的训练涉及权重和偏差的调整，这个操作是通过一个称作反向传播的过程来完成的，即将误差从最后一层逐步反馈至前面的每层，通过梯度下降方法更新网络中每个神经元的参数。这个过程通常需要大量的数据集和强大的计算资源，但随着近年来硬件技术的飞速发展，如GPU和TPU的广泛使用，深度学习模型可以更快地训练和实现[54]。
2.2 卷积神经网络
卷积神经网络（Convolutional Neural Networks, CNN），是一种深度前馈型的神经网络（Feedforward Neural Networks），它们具备进行卷积运算的能力，是深度学习领域中一个核心的算法类别[55, 56]。这种网络结构通过其层次化的设计能够进行表征学习，即能够自动识别和学习输入数据的特征。CNN能有效处理信息中的平移变化，对数据进行分类，因此它们也被称作“平移不变神经网络”。
对卷积神经网络的研究始于二十世纪80至90年代，在1987年，Alexander Waibel 和他的团队提出了时间延迟神经网络（TDNN），这是最早的卷积神经网络之一[57]。TDNN主要是为了解决语音识别的问题，并且它的输入是通过快速傅里叶变换（FFT）预处理过的语音信号。时间延迟网络和LeNet-5是最早出现的卷积神经网络。LeN et-5成功使卷积神经网络的应用得到关注，微软在2003年使用卷积神经网络开发了光学字符读取（Optical Character Recognition, OCR）系统[58]。其它基于卷积神经网络的应用研究也得到展开，包括人像识别[59]、手势识别[60]等，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。
卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）
第三章 基于改进自蒸馏的 ResNet 结石术前预测方法 .................... 22
3.1 Resnet 网络结构 .................................... 22
3.2 改进后的 ResNet34 自蒸馏算法 ............... 23
第四章 基于改进掩蔽自编码自监督学习方法的ViT结石分类模型...........39
4.1 VIT结石分类算法相关理论 ...................... 39
4.2 改进后的VIT方法 ................................ 40
第五章 结论与展望 ........................... 52
5.1 论文总结 ................................ 52
5.2 论文展望 ............................ 52
第四章 基于改进掩蔽自编码自监督学习方法的ViT结石 分类模型
4.1 VIT结石分类算法相关理论
Vision Transformer (ViT)是由Google在2020年推出的一个创新模型，旨在将 Transformer 架构应用于图像分类任务。这是一项开创性的工作，因为即使Transformer 在自然语言处理领域具有杰出表现，但在计算机视觉领域的运用仍然较少。令人意外的是，ViT 验证了 Transformer 架构在计算机视觉领域的仍然具有比较不错的性能。ViT的结构图如图4-1所示
ViT 的核心结构由三个主要组成部分构成：
线性映射：主要包括将图像划分成小块并进行线性投影的 Patch，以及对这些小块进行位置嵌入的 Position Embedding。
Transformer Encoder：它是模型处理并学习图像特征的主要部分。
MLP Head：作为输出层，该部分负责将学习的特征映射到各个分类标签上。
通过对图像进行分类，ViT 将每个图像分割成一系列的小片段，每个片段都被视为一个 token，类似于自然语言处理中的一个字或词。这些token通过嵌入层转换，再通过 Transformer 编码器进行处理。虽然 ViT 和传统的CNN模型在处理图像方面有所不同，但ViT因为具有自注意力机制，可以高效地处理像素间的远距离相关性。
第五章 结论与展望
5.1 论文总结
泌尿系结石在泌尿外科中是最常见的疾病之一，泌尿系统结石的类型多样，并且每种类型的结石都需要特定的治疗方法。根据结石在泌尿系统中的位置，它们可分为肾结石、输尿管结石、膀胱结石以及尿道结石。而根据其化学成分，结石又分为单成分和复合成分两种类型。本文提出了两种算法用来实现泌尿系结石类型的术前分类，并针对算法落地困难、数据不能完全被利用等问题，对算法进行了改进，提高了算法的准确度。
本文的主要工作总结如下：
（一）此研究项目包括与合作医院
