2)针对基于卷积神经网络的U-net模型处理长序列数据时存在的时空特征提取能力及泛化能力差,传统的Seq2frame和Seq2seq存在的序列数据前后时间信息丢失及首尾缺乏时间相关性的问题,本文提出了一种多尺度时空编码器网络MSTTN,在MSTTN中,首先利用序列填充模块从原始序列中选取一定长度对其首尾进行填充,然后利用时空编码器学习已填充序列中关节点的时空信息,并通过交叉注意力对原始序列和已填充序列的特征信息进行融合;此外,本文利用多尺度模块对人体骨架结构进行多层次特征提取,通过融合关节的点特征、局部特征和全局特征完成对不同尺度特征信息关联性的强化。大量的实验结果表明,所提出的MSTTN以较少的参数实现了出色的姿态估计效果,在精度和模型复杂度间实现了良好的平衡。
参考文献(略)