本文是一篇软件工程硕士论文，本文探讨了基于自监督学习的骨科影像关键点检测方法，根据当前关键点检测研究的局限，可以得出其面临的一些挑战：（1）现有的关键点检测模型在训练时未能有效的利用上下文信息提升检测的准确度。（2）深度学习模型的有效性在很大程度上依赖于大量的标注数据。
第1章 绪论
1.1 研究背景和目的
骨骼承载着支撑身体各项日常活动的重任。由于膝关节和颅骨都是骨科中疾病多发，且非常具有代表性的部位，故本文主要聚焦骨科影像中的膝关节和颅骨解剖关键点的自动测量。解剖学意义上的关键点被定义“人体普遍具有的、有特定特征的位置和拓扑上存在对应关系的一些点或者曲线[1]。膝关节作为人体承受负荷最重的关节，往往容易遭受损伤，这种损伤可能引发风湿性关节炎、骨性关节炎等疾病，给患者带来了难以言喻的痛苦和困扰。人工膝关节置换是常见的骨关节外科手术之一，常用于治疗骨性关节炎等疾病，为了确保手术的成功，术前医生需要对患者膝关节的股骨下角、胫骨上角、股骨后髁偏心率、髌骨高度和股骨后倾角等多个测量参数进行准确测量。只有确保解剖关键点的识别和定位十分准确，才能通过计算关键点所在的位置得到准确的测量参数，这是医生对疾病做出诊断和术前规划的重要基础。
如图1.1是常见的骨科影像数据，在实际测量时，医生手动测量一张膝关节影片需要标注至少几十个解剖关键点，且膝关节的形态结构比较复杂，导致医学影像标注困难，标注过程需要消耗大量的时间。此外，经验不同的外科医生在标注关键点时也存在习惯上的差异，这使得根据临床定义准确标注的医学金标准数据难以获得。对于缺乏医疗设备的医院和欠缺经验的医生来说，他们迫切需要一种能够快速、准确、可辅助诊断的自动检测解剖关键点和测量参数的算法，以提高诊断的效率。
1.2 研究现状
当前，医学影像解剖关键点的自动检测不仅是医学图像领域一项备受关注的课题，更是医学图像分割[2]、图像配准[3]及病理检测[4]等多个领域在临床实践中得以有效应用的重要基石，在过去的几十年里，关键点检测任务在骨关节影像上取得了大量的研究进展，如脊柱侧弯、手骨分析和髋臼发育不良检测等，主要分为以下这几个阶段。
1.2.1 基于传统定位方法
传统的机器学习方法出现比较早，主要集中在预定义的统计先验，即待检测的关键点往往含有特定的结构特征。早期研究者将关键点定义为角点、端点、局部极值点等，并设计图像滤波器、图像算子和模板匹配算法解决关键点检测问题。传统方法通常包含以下的步骤：（1）确定感兴趣区域，该区域有全部的待检测点，（2）在感兴趣区域定位关键点的位置。
在颅骨关键点检测中，Grau等[5]提出了一种自动测量颅骨关键点的算法，分两步进行：（1）使用线条检测模块搜索图像中重要的、对比度高的线条如下颌线。（2）在关键点检测模块使用线条检测模块中找到的线条来确定搜索区域。
在手骨关节检测中，Lindner等[6]设计了一种基于随机森林的回归投票机制，该方法能够生成高质量的响应图像，利用回归器对每个点的最佳位置进行投票决策，通过约束局部模型框架，进行快速的模型匹配。
在髋关节发育不良检测中，Sahin等[7]提出了一种测量髋臼角的模板匹配方法。该模板在样本图像上逐行操作，以寻找最适合的子图像作为闭孔，为了获得最准确的结果，闭孔必须清晰可见，然而针对闭孔形状扭曲的患者，这种方法并不适用。
第2章 理论基础和相关技术
2.1 膝关节的影像特征
在进行骨科疾病的分析和诊断时，影像学检查是不可或缺的一环。采集患者清晰骨骼形态的X光片，不仅是诊断疾病的重要依据，更是判断病情严重程度、进行术前评估的重要基础。膝关节由股骨，胫骨和髌骨构成，作为人体最复杂且最长的关节，它承担着支撑人体重量和完成运动功能的重要任务。
2.1.1 膝关节影像测量流程
在膝关节疾病的诊断中，常用X射线进行检查。医生将X光片导入后，根据诊断需要的测量参数，手动标注解剖关键点的位置，利用关键点之间的角度和距离等参数来评估关节损伤、异常的状态，因此关键点的选择应该符合临床的定义。
膝关节参数的测量分为以下步骤：
（1）拍摄X光影像：在膝关节分析中，病人需要分别拍摄膝关节正位图和侧位图，拍摄时病人仰卧，拍摄过程中需确保能够清晰显示胫骨关节与髌骨关节间隙，膝关节正位片应包括股骨远端和胫骨近端的1/4。
（2）检查影像：医生在拍摄完后X光片后，查看影像有无损坏，并仔细审查病人膝关节的骨骼结构。
（3）标注解剖关键点：医生导入X光片，对解剖关键点进行标注。
（4）测量解剖参数：标注关键点位置后，需要对临床需要的测量参数如胫骨下角，髌骨高度等进行计算，为人工膝关节假体制作和术前评估提供参考。
2.2 基于深度学习的关键点检测方法
关键点检测的核心在于模型能够学习从图像到关键点坐标的映射。回归分析旨在揭示两种或多种变量间的定量依赖关系，深度学习中常用的回归方法包括坐标值回归、热力图回归和位移图回归，回归网络将整幅图像或图像块作为数据输入，直接输出坐标值或热力图，使用热度图回归的方法一般经过处理后再获得关键点的坐标，基于回归的关键点检测框架如图2.3所示，本节将对本文中使用的前两个回归方法和基于注意力机制的非局部网络进行介绍。
热力图回归方法可以采用多阶段的网络模型预测热力图，训练过程如图2.5所示，在全局阶段，模型经过下采样输出关键点的粗略位置，在局部阶段，根据上一阶段预测的粗略位置将关键点的邻域裁剪成局部图像块，最后在细化阶段用线性估计器优化前两个阶段预测的结果获得最终的热力图。
热力图回归方法的优点是不需要全连接网络，关键点之间有很强的相关关系，直接对每个坐标值回归并不能有效捕捉利用这些关系，并且热力图方法可以捕捉关键点与背景信息的对比关系，从而可以用来指导网络进行学习
第3章 基于自监督预训练和边缘先验信息的关键点检测模型 ........ 18
3.1 引言 ................................ 18
3.2 网络架构设计 ................................ 19
第4章 基于自监督和知识蒸馏的关键点检测模型 ............................ 34
4.1 引言 .................................. 34
4.2 伪标签自训练策略 ............................. 35
第5章 骨科影像关键点自动检测系统 .......................... 46
5.1 系统需求分析 ................................ 46
5.1.1 功能性需求分析 ............................. 46
5.1.2 非功能性需求分析 ............................. 47
第5章 骨科影像关键点自动检测系统
5.1 系统需求分析
近年来，随着智能诊疗系统的初步应用，临床上对疾病自动诊断的需求得到了极大的激发，越来越多的深度学习模型被应用到医学影像任务当中，辅助医生进行诊断。由于骨关节疾病多发，医生在手术前需要对骨关节关键点进行准确定位，然而医生对其进行人工测量、标记需要花费大量的时间，且目前还没有集成对膝关节和颅骨等影像实现自动测量和数据标注功能的系统，因此本文将前两章提出的关键点检测模型内嵌到系统中以辅助医生更方便快捷的定位关键点，并计算关节置换所需的测量参数。为了更加贴合临床的实际需求，本章做了如下需求分析。
5.1.1 功能性需求分析
系统的主要功能是辅助医生实现对骨科影像关键点的自动检测，系统应该具有导入病人X光片影像的功能，还应具有调用训练好的深度学习模型对输入的关节影像进行实时检测的功能。医生根据当前输出的关键点的坐标，对少量识别不准确的关键点进行修正，系统根据调整后的关键点进行自动计算人工关节置换中所需的解剖测量参数，以供医生在疾病诊断和制作人工置换假体时的参考。该系统还应该具有数据保存和信息管理的功能，辅助医生更加方便的收集数据并对结果进行分析研究。根据以上的需求分析，本文在系统中需要实现如下功能：
（1）影像读取：系统导入患者的关节影像并展示到主界面上，可接受DICOM、JPG和PNG格式的医学图像，其中导入DICOM格式的医学图像会将图像自带的患者信息显示到患者信息栏中，便于医生对患者信息进行管理。
（2）图像预处理：在关键点检测之前，用户可以进行图像预处理操作，包括对图像进行重采样、调节图像的亮度和对比度，以及旋转图像、翻转图像等操作，图像预处理是对关键点进行检测前尤为重要的一步，可以减少影像引入的噪声，使关键点位置识别的更精确。
第6章 总结与展望
6.1 本文总结
本文探讨了基于自监督学习的骨科影像关键点检测方法，根据当前关键点检测研究的局限，可以得出其面临的一些挑战：（1）现有的关键点检测模型在训练时未能有效的利用上下文信息提升检测的准确度。（2）深度学习模型的有效性在很大程度上依赖于大量的标注数据。本文聚焦于解决这些核心问题，分别提出了基于自监督预训练和边缘先验信息的关键点检测模型及基于自监督和知识蒸馏的关键点检测模型，以及在这两章算法的基础上开发了骨科影像关键点自动检测系统，本文的主要研究内容及成果可总结如下：
1. 为了解决未能有效利用关键点上下文信息的问题，本文在第三章中提出了基于自监督预训练和边缘先验信息的关键点检测模型。首先设计了
