结合运动信息与双重注意力机制的两阶段SiamCAR跟踪算法

doi:10.12068/j.issn.1005-3026.2025.20240018

摘要/Abstract

摘要：

针对单目标跟踪中，因形变、运动模糊、遮挡以及背景干扰导致的跟踪框精度下降问题，特别是在背景干扰下易出现跟踪跳变及漂移问题，提出了一种结合运动信息和双重注意力机制的两阶段跟踪算法.第一阶段，使用带有双重注意力机制的SiamCAR跟踪器对当前帧的目标进行粗定位；第二阶段，利用像素级相似度运算构建边界框精细化模块，在低延迟情况下学习目标的细微特征以提升跟踪精度，并将基于外观特征得到的跟踪框与目标的运动轨迹信息相融合，以改善跟踪漂移及跳变问题.OTB100数据集上的实验结果表明，跟踪框的成功率和精度相比原来分别提高了4.6%和2.8%，在背景干扰下的成功率达到了69.6%.

关键词: 单目标跟踪, SiamCAR, 孪生网络, 神经网络, 注意力机制

Abstract:

In single-object tracking， the accuracy of the tracking bounding box is often compromised by factors such as deformation， motion blur， occlusion， and background interference. In particular， background interference frequently leads to tracking hopping and drift. To mitigate these issues， a two-stage tracking algorithm that integrated motion information with a dual-attention mechanism was proposed. In the first stage， a SiamCAR tracker with a dual-attention mechanism was employed to coarsely locate the target in the current frame. In the second stage， a refinement module of the bounding box was constructed using pixel-level similarity computations to learn the subtle features of the target under low-latency conditions， thereby enhancing the tracking accuracy. Finally， the tracking box obtained based on appearance features was fused with the target’s motion trajectory information to mitigate tracking drift and hopping. Experimental results on the OTB100 dataset indicate that the success rate and accuracy of the tracking box have improved by 4.6% and 2.8%， respectively， compared to the original. The success rate in the presence of background interference has reached 69.6%.

Key words: single object tracking, SiamCAR, Siamese network, neural network, attention mechanism

中图分类号:

TP 391

魏颖, 张家鹏, 崔佳琦, 黄通. 结合运动信息与双重注意力机制的两阶段SiamCAR跟踪算法[J]. 东北大学学报（自然科学版）, 2025, 46(9): 9-16.

Ying WEI, Jia-peng ZHANG, Jia-qi CUI, Tong HUANG. Two-Stage SiamCAR Tracking Algorithm Combining Motion Information and Dual-attention Mechanism[J]. Journal of Northeastern University(Natural Science), 2025, 46(9): 9-16.

图/表 9

图1 两阶段跟踪算法整体架构

Fig.1 Overall architecture of two-stage tracking algorithm

图2 加入双重注意力机制的孪生网络结构示意图

Fig.2 Schematic diagram of Siamese network structure with dual-attention mechanism

图3 引入运动信息的边界框精细化模块

Fig.3 Bounding box refinement module with motion information

图4 像素级互相关操作

Fig.4 Pixel-level cross-correlation operation

图5 基于运动信息的边界框修正模块

Fig.5 Bounding box correction module based on motion information

表1 在OTB100基准上的消融实验

Table 1 Ablation experiment on OTB100 benchmark

SiamCAR	双重注意力机制	引入运动信息的边界框精细化模块	成功率	精度	帧率
SiamCAR	双重注意力机制	引入运动信息的边界框精细化模块	%	%	帧·s^-1
√			66.3	88.0	51.25
√	√		67.8	90.1	47.6
√		√	70.1	88.8	33.8
√	√	√	70.9	90.8	32.3

图6 在OTB100上多种算法的精度和成功率对比（a）—精度；（b）—成功率.

Fig.6 Comparison of precision and success rate of multiple algorithms on OTB100

表2 OTB100数据集不同属性下算法的跟踪成功率对比结果

Table 2 Comparison of tracking success rates of algorithms under different attributes on OTB100 dataset

算法	IV	OPR	OCC	DEF	MB	FM	IPR	OV	BC	LR	SV
本文算法	0.723	0.695	0.668	0.681	0.738	0.723	0.713	0.677	0.696	0.721	0.722
SiamBAN	0.724	0.687	0.648	0.662	0.698	0.687	0.717	0.640	0.680	0.719	0.693
SiamRPN++	0.714	0.683	0.656	0.667	0.692	0.678	0.700	0.624	0.672	0.720	0.694
SiamDASM	0.705	0.697	0.647	0.657	0.716	0.691	0.709	0.625	0.659	0.730	0.704
SiamFC++	0.695	0.660	0.613	0.646	0.669	0.664	0.695	0.582	0.627	0.699	0.675
SiamRPN	0.651	0.628	0.588	0.620	0.625	0.602	0.631	0.544	0.594	0.642	0.618
SiamFC	0.572	0.561	0.549	0.512	0.554	0.571	0.559	0.509	0.527	0.618	0.556
SiamCAR	0.685	0.653	0.619	0.620	0.698	0.684	0.689	0.609	0.617	0.686	0.666

图7 OTB100部分视频序列跟踪结果

Fig.7 Tracking results of partial video sequences in OTB100

参考文献 14

[1]	魏颖，徐楚翘，刁兆富，等. 基于生成对抗网络的多目标行人跟踪算法［J］. 东北大学学报（自然科学版）， 2020， 41（12）： 1673-1679， 1720.
	Wei Ying， Xu Chu-qiao， Diao Zhao-fu， et al. A multi-target pedestrian tracking algorithm based on generated adversarial network［J］. Journal of Northeastern University （Natural Science）， 2020， 41（12）： 1673-1679， 1720.
[2]	高文，朱明，贺柏根，等. 目标跟踪技术综述［J］. 中国光学， 2014， 7（3）： 365.
	Gao Wen， Zhu Ming， He Bai-gen， et al. Overview of target tracking technology［J］. Chinese Optics， 2014， 7（3）： 365.
[3]	Li B， Yan J J， Wu W， et al. High performance visual tracking with Siamese region proposal network［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， 2018： 8971-8980.
[4]	郑艳，赵佳旭，边杰. 基于SiamBAN跟踪器改进的目标跟踪算法［J］. 东北大学学报（自然科学版）， 2023， 44（9）： 1227-1233.
	Zheng Yan， Zhao Jia-xu， Bian Jie. Improved object tracking algorithm based on SiamBAN tracker［J］. Journal of Northeastern University （Natural Science）， 2023， 44（9）： 1227-1233.
[5]	Guo D Y， Wang J， Cui Y， et al. SiamCAR： Siamese fully convolutional classification and regression for visual tracking［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， 2020： 6268-6276.
[6]	Chen Z D， Zhong B N， Li G R， et al. SiamBAN： target-aware tracking with Siamese box adaptive network［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（4）： 5158-5173.
[7]	Dong B， Zhuge M， Wang Y， et al. Accurate camouflaged object detection via mixture convolution and interactive fusion［J］. arXiv Preprint arXiv， 2101： 05687.
[8]	Bertinetto L， Valmadre J， Henriques J F， et al. Fully-convolutional Siamese networks for object tracking［C］//Computer Vision-ECCV 2016 Workshops. Cham： Springer International Publishing， 2016： 850-865.
[9]	Wang G T， Luo C， Xiong Z W， et al. SPM-tracker： series-parallel matching for real-time visual object tracking［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， 2019： 3643-3652.
[10]	Fan H， Ling H B. Siamese cascaded region proposal networks for real-time visual tracking［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， 2019： 7944-7953.
[11]	Yan B， Zhang X Y， Wang D， et al. Alpha-refine： boosting tracking performance by precise bounding box estimation［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， 2021： 5289-5298.
[12]	Wang Z Q， Xu J， Liu L， et al. RANet： ranking attention network for fast video object segmentation［C］//2019 IEEE/CVF International Conference on Computer Vision（ICCV）. Seoul， 2019： 3977-3986.
[13]	Luvizon D C， Tabia H， Picard D. Human pose regression by combining indirect part detection and contextual information［J］. Computers & Graphics， 2019， 85： 15-22.
[14]	Li B， Wu W， Wang Q， et al. SiamRPN++： evolution of Siamese visual tracking with very deep networks［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， 2019： 4282-4291.

[1]	李荟, 韩晓飞, 朱万成, 毛嘉石. 基于ICEEMDAN与Attention-LSTM的矿山边坡位移预测[J]. 东北大学学报（自然科学版）, 2025, 46(7): 163-170.
[2]	李志刚, 牟明凯, 胡德安, 项楠. 基于图像融合技术的阿尔茨海默病检测研究[J]. 东北大学学报（自然科学版）, 2025, 46(6): 1-7.
[3]	吴杨俊, 李振平, 姚红良, 韩圣东. 考虑辅助部件的车辆动力总成系统建模方法与优化设计[J]. 东北大学学报（自然科学版）, 2025, 46(4): 43-51.
[4]	李海燕, 乔仁超, 李海江, 陈泉. 基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法[J]. 东北大学学报（自然科学版）, 2025, 46(1): 26-34.
[5]	刘炎, 卜齐杰, 赵红晨, 郭鑫. 基于多源异构信息的浮选过程运行状态评价[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1217-1226.
[6]	刘林, 宋雨昊. 基于误差因子的改进WLS超宽带定位算法[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1235-1243.
[7]	李小彭, 付嘉兴, 刘海龙, 尹猛. 柔性空间机械臂RBF神经网络补偿滑模控制策略[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1258-1267.
[8]	刘伟嵬, 刘炳君, 刘焕强, 刘泽远. 激光熔化沉积过程缺陷识别方法[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1150-1158.
[9]	任涛, 刘昕靓, 陈宏峰, 马延路. 基于卷积神经网络的预警震级分段估算方法[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1073-1079.
[10]	田岸霖, 雷为民, 张鹏, 张伟. 一种基于编解码结构的多尺度边缘检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 936-943.
[11]	刘伟嵬, 邱佳鹤, 胡光大, 刘泽远. 基于改进YOLOv5的退役轴类零件表面损伤检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 1002-1010.
[12]	郭立新, 毕素涛, 赵明扬. 基于改进YOLOv4轻量化网络的机械手状态检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 769-775.
[13]	马原, 佘黎煌, 李佳蔚, 鲍喜荣. 基于注意力机制的自适应图卷积三维点云识别算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 786-792.
[14]	薛珮芸, 白静, 张楠, 赵建星. 基于VMD的双通道构音障碍语音特征图谱提取算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 793-801.
[15]	谢洪途, 陈佳兴, 张琳, 朱楠楠. 基于脉冲神经网络的轻量化SAR图像舰船识别算法[J]. 东北大学学报（自然科学版）, 2024, 45(4): 474-482.