由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异，RGB图像和红外图像之间存在着明显的差异，提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征，利用改进的BNNeck模块来提取RGB和红外图像的特征信息，改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络，获取RGB图像在空间维度和通道维度上的特征信息，实现红外特征信息匹配；然后，将BNNeck模块引入至跨模态行人重识别算法，减少模态特征信息差异，加快算法收敛速度；最后，在异质中心损失函数和交叉熵损失函数的基础上，引入跨模态下行人身份损失函数，提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明，相对于目前大多数已有算法，所提算法具有更好的泛化能力和鲁棒性，Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。

国家自然科学基金青年科学基金项目(62001247)；

1 基于特征学习的双路径红外-可见光行人重识别算法
1.1 双路径局部特征网络
1) 特征提取。
2) 特征嵌入。
1.2 注意力机制
1) 通道注意力模块。
2) 空间注意力模块。
1.3 跨模态BNNeck和损失函数
1.3.1 概述
1.3.2 身份损失
1) 特定模态身份损失。
2) 跨模态BNNeck身份损失。
1.3.3 中心异质损失和交叉熵损失
2 实验
2.1 数据集
2.2 SYSU-MM01数据集上的测试结果
2.3 RegDB数据集上的测试结果
2.4 注意力机制的可视化
2.5 各模块消融实验
2.6 与基准损失函数的比较
2.7 收敛速度测试
3 结论

朱松豪,吕址函,宋杰.基于特征学习的双路径红外-可见光行人重识别算法[J].山东科技大学学报(自然科学版),2022,41(05):82-90.DOI:10.16452/j.cnki.sdkjzk.2022.05.010.