5.1 算法描述.............................39
5.1.1 全局池化层与残差连接...............................39
5.1.2 回归树........................41
第五章 基于超参数自动搜索的抑郁症自动分析
5.1 算法描述
5.1.1 全局池化层与残差连接
池化层又叫作降采样层，它可以用来降低计算量的大小和占用的内存大小，防止因为参数过多而发生过拟合，并提高的卷积网络的容错能力。池化层和卷积层共同构成一个卷积块，多个卷积块堆叠在一起构成一个深度卷积网络，二者在使用方面都需要定义其大小(size)，步长(stride)，以及 padding 的类型。两者两点不同，一是特征图经过池化层前后，其通道数量不会发生变化；而卷积前后，特征图和过滤器的个数保持一致；另外一个是池化操作使用的是池化核，不涉及参数；卷积操作使用的是卷积核，充满了参数；CNN 中的池化操作包含平均池化(Average Pooling，AP)、最大池化(Max Pooling，GP)、全局平均池化(Global AveragePooling，GAP)以及全局最大池化(Global MaxPooling，GMP)四种类型。
（1）平均池化：感受野区域求平均值，能够减小由于邻域大小受限造成的估计值方差增大而带来的特征提取方差。因此，能够保留更多的图像中的背景信息。
（2）最大池化：感受野区域求最大值，能够减小由于卷积层参数误差造成估计均值的偏移的所来的特征提取误差。因此，能够保留更多的纹理信息。
（3）全局最大池化层、全局平均层：每一个特征图求最大值或者平均值，将一个图高度地浓缩成一个数，最后输出一个数据值，最终一个三维特征图就会变成一个一维特征向量，相较于在网络中对特征图展平为全连接层操作，其优点是减少了网络中的参数量，从而达到避免过拟合的效果。本文使用的 CNN，将频域整合的方式定义成了超参数，并为其定义超参数分布，其中频域整合方式包括二维全局最大值池 GMP 和二维平均池化 GAP，二者的计算过程如图 5-1 所示：
第六章 总结与展望
6.1 本文工作总结
本文主要针对应用于情感计算领域中的深度学习模型带来的超参数优化难的问题提出超参数自动搜索算法，这一想法受到了图像处理领域中通过调参取得了较好的结果这一启发。在本文中，通过对前人提出的超参数优化算法进行分析和总结，对比了典型的超参数优化方法，发现目前的调参方法依赖于经验设置、手动搜索，尽管存在自动搜索方法，例如网格搜索、随机搜索和贝叶斯优化，但是这些方法不适用于深度学习模型的超参数优化，因此，针对情感计算领域中的深度学习模型提出了一种新的超参数自动搜索算法。我们的参数搜索方法是基于一个这样的假设，也就是关于参数重要性的发现不一定在网络类型之间可转移，即使它们共享阶段。最后以情感计算领域的语音情感识别任务和抑郁自动分析任务为依托，通过对实验结果的观察，充分证明了提出的超参数自动搜索方法的有效性。
在本文中，我们比较了两种网络模型在语音情感识别分类中的表现。 一个是卷积神经网络和带有自注意力机制的卷积神经网络。对于每个网络类型，我们执行粗略搜索，对参数搜索后的结果进行回归分析，之后再进行精细搜索，最后再进行回归树分析以找出每种网络模型的最佳超参数配置，对于每一个回归树我们提取了从根到目标值最高或者最低叶子结点树路径，因为相应的分支表示每种类型的最佳超参数组合。
在抑郁诊断中只用了卷积神经网络一种网络类型，尽管如此，使用本文提出的超参数自动搜索算法，得到的实验结果远远好文献[54]和文献[55]的结果。通过两组实验，可以发现集成操作方法是降低网络模型中张量维数的最重要的配置参数。
参考文献（略）
