基于异质信息对齐和重排序的跨模态行人重识别方法_中国煤炭行业知识服务平台

基于异质信息对齐和重排序的跨模态行人重识别方法

作者

赵铁柱梁校伦杨秋鸿张国斌龚莨皓
单位

东莞理工学院计算机科学与技术学院东莞城市学院人工智能学院东莞理工学院电子工程与智能化学院
摘要

可见光图像和红外图像成像原理不同，面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异，行人异质信息对齐和挖掘异常困难。为此，提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面，提出一种新的异质局部信息对齐算法，通过求取行人异质局部信息距离矩阵的最短路径，实现同一行人异质局部信息的动态匹配，解决行人异质信息对齐问题；在重排序方面，提出拓展k近邻重排序算法，通过动态地拓展查询图像k近邻异质信息，实现同一行人异质信息的融合，解决行人异质信息挖掘困难问题。实验结果表明，在SYSU数据集全场景查询模式上，所提方法与AGW模型结合k近邻重排序算法相比，在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。
关键词

跨模态行人重识别异质信息对齐重排序深度学习
基金项目(Foundation)

国家自然科学基金项目(61901115)；广东省普通高校重点领域专项(2021ZDZX3007)；东莞城市学院青年教师发展基金项目(2022QJY005Z)；
文章目录

1 双流ResNet50网络模型
1.1 基线模型
1.2 残差收缩模块
2 基于异质信息对齐和重排序的跨模态行人重识别
2.1 异质局部信息对齐算法
2.2 拓展k近邻重排序算法
3 实验
3.1 数据集及评估协议
3.2 实验设置
3.3 对比实验
3.4 消融实验
3.5 参数量和时间复杂度分析
3.6 可视化分析
3.7 拓展k近邻重排序算法参数分析
4 结论