基于多尺度模态融合的RGB-T目标跟踪网络_中国煤炭行业知识服务平台

基于多尺度模态融合的RGB-T目标跟踪网络

作者

程竹轩范慧杰唐延东王强
单位

沈阳化工大学信息工程学院中国科学院沈阳自动化研究所机器人学国家重点实验室中国科学院机器人与智能制造创新研究院沈阳大学辽宁省装备制造综合自动化重点实验室
摘要

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点，以及现有网络在多模态融合策略上的不足，提出一种RGB-T目标跟踪网络。网络采用孪生结构，首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度，并对可见光与热红外模态在不同尺度上分别进行模态融合，然后将得到的融合特征通过注意力机制增强特征表示，最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明，该网络跟踪精度和成功率较高，可以应对复杂的跟踪场景，相比于其他网络具有更高的跟踪性能。
关键词

目标跟踪可见光与热红外多尺度特征模态融合深度学习
基金项目(Foundation)

国家自然科学基金项目(62273339)；国家自然科学基金联合基金重点支持项目(U20A20200)；
文章目录

1 相关工作
1.1 基于区域建议的孪生网络
1.2 基于SiamRPN的RGB-T目标跟踪网络
2 多尺度模态融合网络
2.1 网络整体结构
2.2 主干特征提取网络
2.3 多尺度模态融合模块
2.4 特征增强模块
2.5 区域建议网络
2.6 损失函数
3 实验结果与分析
3.1 实验数据集
3.2 实验配置
3.3 评价指标
3.4 实验分析
3.5 消融实验
1) Our-ATO。
2) Our-MSO。
3) Our-MSO-A。
4) Our-MSO-B。
4 结论