自适应构造与聚合多尺度代价体的双目立体匹配

doi:10.12068/j.issn.1005-3026.2023.04.001

东北大学学报（自然科学版） ›› 2023, Vol. 44 ›› Issue (4): 457-468.DOI: 10.12068/j.issn.1005-3026.2023.04.001

• 信息与控制 • 下一篇

自适应构造与聚合多尺度代价体的双目立体匹配

庞彦伟，苏畅，龙涛

(天津大学电气自动化与信息工程学院，天津300072)

发布日期:2023-04-27
通讯作者: 庞彦伟
作者简介:庞彦伟(1976-)，男，河北衡水人，天津大学教授，博士生导师.
基金资助:
科技创新2030-“新一代人工智能”重大项目(2022ZD0160400)；天津市科技计划项目(19ZXZNGX00050).

Adaptive Multi-scale Cost Volume Construction and Aggregation for Stereo Matching

PANG Yan-wei， SU Chang， LONG Tao

School of Electrical and Information Engineering， Tianjin University， Tianjin 300072， China.

Published:2023-04-27
Contact: PANG Yan-wei
About author:-
Supported by:
-

摘要/Abstract

摘要： 基于卷积神经网络的双目立体匹配算法取得了重要进展，但现有方法在弱纹理区域、细节和边缘等位置仍然存在匹配不准确的问题.立足于双目立体匹配任务中常用的匹配代价体(cost volume)，提出自适应构造与聚合多尺度代价体的双目立体匹配网络.首先将多个尺度的输入特征融合成为重组特征；然后设计可学习的特征增强模块，为各个尺度的匹配代价体恢复所需的细节信息；最后基于全局注意力对各尺度匹配代价体进行尺度内聚合，并提出自适应多尺度加权方法进行尺度间聚合，筛选出适用于回归各尺度视差的匹配特征.在SceneFlow和KITTI2015数据集上的实验表明:所提方法在较小网络规模的情况下取得了有竞争力的性能表现，验证了所提方法的有效性.

关键词: 双目立体匹配；匹配代价体；特征增强；自适应聚合

Abstract: Stereo matching based on convolutional neural network has made great progress. Existing methods still suffer from mismatching in weak texture regions， details and edges. Based on the cost volume commonly used in stereo matching， a stereo matching network with adaptive multi-scale cost volume construction and aggregation was proposed. Firstly， the proposed method fully fused the multi-scale features to obtain the recombined features. Then， a learnable feature enhancement module was used to recover the detail information for multi-scale cost volumes. Finally， after intra-scale aggregation based on global attention， an adaptive multi-scale weighting method was proposed for inter-scale aggregation to screen the matching features adapted to the disparity regression of each scale. Massive experiments on the SceneFlow and KITTI2015 datasets show that the proposed method achieves competitive performance with smaller network size which verifies the effectiveness of the proposed method.

Key words: stereo matching; cost volume; feature enhancement; adaptive aggregation

中图分类号:

TP391

庞彦伟，苏畅，龙涛. 自适应构造与聚合多尺度代价体的双目立体匹配[J]. 东北大学学报（自然科学版）, 2023, 44(4): 457-468.

PANG Yan-wei， SU Chang， LONG Tao. Adaptive Multi-scale Cost Volume Construction and Aggregation for Stereo Matching[J]. Journal of Northeastern University(Natural Science), 2023, 44(4): 457-468.

参考文献

[1]Zhao Q，Zhou B，Jia L I，et al.A brief survey on virtual reality technology［J］.Science and Technology Review，2016，34(14):71-75.
[2]Chen C Y，Seff A，Kornhauser A，et al.Deepdriving:learning affordance for direct perception in autonomous driving［C］//Proceedings of the IEEE International Conference on Computer Vision.Santiago，2015:2722-2730.
[3]Oisel L，Mémin ，Morin L，et al.One-dimensional dense disparity estimation for three-dimensional reconstruction［J］.IEEE Transactions on Image Processing，2003，12(9):1107-1119.
[4]李晶皎，马利，王爱侠，等.基于改进Patchmatch及切片采样粒子置信度传播的立体匹配算法［J］.东北大学学报(自然科学版)，2016，37(5):609-613.(Li Jing-jiao，Ma Li，Wang Ai-xia，et al.Stereo matching algorithm based on improved Patchmatch and slice sampling particle belief propagation［J］.Journal of Northeastern University(Natural Science)，2016，37(5):609-613.)
[5]张之敏，乔建忠，林树宽，等.一种基于深度网络的视图重建方法［J］.东北大学学报(自然科学版)，2020，41(8):1065-1069.(Zhang Zhi-min，Qiao Jian-zhong，Lin Shu-kuan，et al.A view reconstruction method based on deep network［J］.Journal of Northeastern University(Natural Science)，2020，41(8):1065-1069.)
[6]Chang J R，Chen Y S.Pyramid stereo matching network［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018:5410-5418.
[7]Deng H，Liao Q，Lu Z，et al.Parallax contextual representations for stereo matching［C］//Proceedings of the IEEE International Conference on Image Processing.Anchorage，2021:3193-3197.
[8]Liang Z，Feng Y，Guo Y，et al.Learning for disparity estimation through feature constancy［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018:2811-2820.
[9]Huang Z，Norris T B，Wang P.ES-Net:an efficient stereo matching network［C］//Proceedings of the IEEE International Conference on Intelligent Robots and Systems.Prague，2021.
[10]Yang M，Wu F，Li W.RLStereo:real-time stereo matching based on reinforcement learning［J］.IEEE Transactions on Image Processing，2021，30:9442-9455.
[11]Xu H F，Zhang J Y.AANet:adaptive aggregation network for efficient stereo matching［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Seattle，2020:1956-1965.
[12]He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，2016:770-778.
[13]Dai J F，Qi H Z，Xiong Y W，et al.Deformable convolutional networks［C］//Proceedings of the IEEE International Conference on Computer Vision.Venice，2017:764-773.
[14]Kendall A，Martirosyan H，Dasgupta S，et al.End-to-end learning of geometry and context for deep stereo regression［C］//Proceedings of the IEEE International Conference on Computer Vision.Venice，2017:66-75.
[15]Chabra R，Straub J，Sweeny C，et al.StereoDRNet:dilated residual stereo net［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Long Beach，2019:11786-11795.
[16]Mayer N，Ilg E，Hausser P，et al.A large dataset to train convolutional networks for disparity，optical flow，and scene flow estimation［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，2016:4040-4048.
[17]Menze M，Geiger A.Object scene flow for autonomous vehicles［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston，2015:3061-3070.

自适应构造与聚合多尺度代价体的双目立体匹配

Adaptive Multi-scale Cost Volume Construction and Aggregation for Stereo Matching

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	刘永生，蔡世阳，陈一馨，徐志博. 混合滤波与改进双边滤波的点云去噪算法[J]. 东北大学学报（自然科学版）, 2023, 44(5): 682-688.
[2]	丁其川，王力，刘成. 融合长距离信道注意力与病理特征的肺结节分类[J]. 东北大学学报（自然科学版）, 2023, 44(4): 476-485.
[3]	杨丹，刘国如，任梦成，裴宏杨. 多尺度卷积核U-Net模型的视网膜血管分割方法[J]. 东北大学学报（自然科学版）, 2021, 42(1): 7-14.
[4]	韩东红，张宏亮，朱帅伟，齐孝龙. 面向新浪微博的情感社区检测算法[J]. 东北大学学报（自然科学版）, 2021, 42(1): 21-31.
[5]	原培新，陈鼎夫. 双能X射线高动态范围安检图像压缩算法[J]. 东北大学学报（自然科学版）, 2021, 42(1): 96-101.
[6]	魏颖, 徐楚翘, 刁兆富, 李伯群. 基于生成对抗网络的多目标行人跟踪算法[J]. 东北大学学报（自然科学版）, 2020, 41(12): 1673-1680.
[7]	李稷，徐安军. 炼钢车间多天车动态调度仿真方案[J]. 东北大学学报:自然科学版, 2020, 41(12): 1699-1707.
[8]	李占山，吕艾娜. 基于新冗余度的特征选择方法[J]. 东北大学学报:自然科学版, 2020, 41(11): 1550-1556.
[9]	王鑫，王翠荣，王聪，苑迎. 双通道多感知卷积神经网络图像超分辨率重建[J]. 东北大学学报:自然科学版, 2020, 41(11): 1564-1570.
[10]	张春雷，戴丽，刘宇，李鹤. 基于三点法和ICP算法的手术导航系统患者配准[J]. 东北大学学报:自然科学版, 2020, 41(11): 1584-1590.
[11]	陈剑，何涛，闻英友，马林涛. 基于BERT模型的司法文书实体识别方法[J]. 东北大学学报:自然科学版, 2020, 41(10): 1382-1387.
[12]	张田，田勇，王子，王昭东. 基于清晰度评价的自适应阈值图像分割法[J]. 东北大学学报:自然科学版, 2020, 41(9): 1231-1238.
[13]	张丽杰，刘建昌，谭树彬. 复杂建筑火灾中的人员疏散路径多目标规划[J]. 东北大学学报:自然科学版, 2020, 41(6): 761-766.
[14]	赵海，周冰玲，朱宏博，窦圣昶. 基于连续最大流的三维肺实质快速分割算法[J]. 东北大学学报:自然科学版, 2020, 41(4): 470-474.
[15]	徐久强，张金鹏，贾玉其，邵建新. 基于集成学习的束支传导阻滞识别方法[J]. 东北大学学报:自然科学版, 2020, 41(3): 321-326.