基于单目视觉的车辆3D空间检测方法

doi:10.12068/j.issn.1005-3026.2022.03.004

东北大学学报（自然科学版） ›› 2022, Vol. 43 ›› Issue (3): 328-334.DOI: 10.12068/j.issn.1005-3026.2022.03.004

基于单目视觉的车辆3D空间检测方法

顾德英，张松，孟范伟

(东北大学秦皇岛分校控制工程学院，河北秦皇岛066004)

修回日期:2021-04-06 接受日期:2021-04-06 发布日期:2022-05-18
通讯作者: 顾德英
作者简介:顾德英(1964-)，男，辽宁新民人，东北大学秦皇岛分校教授.
基金资助:
河北省自然科学基金资助项目(F2019501012).

Vehicle 3D Space Detection Method Based on Monocular Vision

GU De-ying， ZHANG Song， MENG Fan-wei

School of Control Engineering， Northeastern University at Qinhuangdao， Qinhuangdao 066004， China.

Revised:2021-04-06 Accepted:2021-04-06 Published:2022-05-18
Contact: ZHANG Song
About author:-
Supported by:
-

摘要/Abstract

摘要： 针对基于单目车辆检测的3D包围框检测精确率比较低的问题，提出了一种基于改进的FPN特征融合、ResNet残差单元、全连接层组合而成的新网络方法.在训练阶段，回归车辆的三维尺寸、残差角度和置信度;在推理阶段，检测出所属类别车辆的三维尺寸和局部角度(α).由车辆的3D包围框中心点坐标、车辆的三维尺寸、车辆偏航角(θ)和相机内参矩阵复原绘制出车辆的3D包围框.所提方法在KITTI验证集上进行了实验，与原方法的检测结果相比，改进的方法在容易、适中、困难三个检测等级下提升了车辆3D包围框平均精确率(AP_3D)为0.60%，1.37%，1.41%.

关键词: 特征融合;单目车辆检测;计算机视觉;深度学习;KITTI

Abstract: Aiming at the problem of low detection precision of 3D bounding box based on monocular vehicle detection， a new network method based on improved FPN (feature pyramid networks) feature fusion， ResNet residual unit， and fully connected layer was proposed. In the training phase， the three-dimensional size of vehicles， residual angle and confidence are regressed. In the reasoning phase， the three-dimensional size and local angle(α)of vehicles are detected. The 3D bounding box of vehicles are reconstructed and drawn from the center coordinates， the three-dimensional size of vehicles， the yaw angle(θ)， and the camera intrinsic matrix. The proposed method is tested on the KITTI verification set. Compared with the results of the original method， the proposed method improves the average precision of 3D bounding box of vehicles(AP_3D)to 0.60%， 1.37%， and 1.41%， respectively， under the three detection levels of easy， moderate and difficult.

Key words: feature fusion; monocular vehicle detection; computer vision; deep learning; KITTI

中图分类号:

TP181

顾德英，张松，孟范伟. 基于单目视觉的车辆3D空间检测方法[J]. 东北大学学报（自然科学版）, 2022, 43(3): 328-334.

GU De-ying， ZHANG Song， MENG Fan-wei. Vehicle 3D Space Detection Method Based on Monocular Vision[J]. Journal of Northeastern University(Natural Science), 2022, 43(3): 328-334.

参考文献

[1]张鹏，宋一凡，宗立波，等.3D目标检测进展综述［J］.计算机科学，2020，47(4):94-102.(Zhang Peng，Song Yi-fan，Zong Li-bo，et al.Review of 3D object detection ［J］.Computer Science，2020，47(4):94-102.)
[2]Chen X，Kundu K，Zhang Z，et al.Monocular 3D object detection for autonomous driving［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE，2016:2147-2156.
[3]Pavlakos G，Zhou X，Chan A，et al.6-DoF object pose from semantic keypoints［C］//2017 IEEE International Conference on Robotics and Automation(ICRA).Singapore:IEEE，2017:2011-2018.
[4]Roddick T，Kendall A，Cipolla R，et al.Orthographic feature transform for monocular 3D object detection［J］.arXiv preprint arXiv:1811.08188，2018.
[5]Brazil G，Liu X.M3d-rpn:monocular 3D region proposal network for object detection［C］//Proceedings of the IEEE International Conference on Computer Vision.Seoul:IEEE，2019:9287-9296.
[6]Weng X，Kitani K.Monocular 3D object detection with pseudo-lidar point cloud［C］//International Conference on Computer Vision Workshops.Seoul:IEEE，2019:857-866.
[7]Liu Z，Wu Z，Tóth R.Smoke:single-stage monocular 3d object detection via key-point-estimation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Seattle:IEEE，2020:996-997.
[8]Mousavian A，Anguelov D，Flynn J，et al.3D bounding box estimation using deep learning and geometry［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE，2017:7074-7082.
[9]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［J］.arXiv preprint arXiv:1409.1556，2014.
[10]Lin T Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE，2017:2117-2125.
[11]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE，2016:770-778.
[12]Shen F，Gan R，Zeng G.Weighted residuals for very deep networks［C］//2016 3rd Internationl Conference on Systems and Informatics(ICSAI).Shanghai:IEEE，2016:936-941.
[13]Clevert D A，Unterthiner T，Hochreiter S.Fast and accurate deep network learning by exponential linear units(elus)［J］.arXiv preprint arXiv:1511.07289，2015.
[14]Chen X，Kundu K，Zhu Y，et al.3D object proposals using stereo imagery for accurate object class detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，40(5):1259-1272.
[15]Xiang Y，Choi W，Lin Y，et al.Data-driven 3D voxel patterns for object category recognition［C］//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.Boston:IEEE，2015:1903-1911.

基于单目视觉的车辆3D空间检测方法

Vehicle 3D Space Detection Method Based on Monocular Vision

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	李婵，曲璐渲，信俊昌，王之琼. 基于潜在调控因子筛选的高阶动态贝叶斯建模方法[J]. 东北大学学报（自然科学版）, 2023, 44(3): 323-330.
[2]	曲璐渲，郭上慧，王之琼，信俊昌. 基因调控网络的父节点筛选贝叶斯建模方法[J]. 东北大学学报:自然科学版, 2020, 41(2): 158-162.
[3]	李壮，刘磊，张桐搏，吕帅. 基于重启策略的学习子句优化方法[J]. 东北大学学报:自然科学版, 2020, 41(1): 44-48.
[4]	马铁民，周福才，王爽. 基于用户相似度的随机游走社交网络事件推荐算法[J]. 东北大学学报:自然科学版, 2019, 40(11): 1533-1538.
[5]	刘鹏，杜佳芝，吕伟刚，窦明武. 面向不平衡数据集的一种改进的k-近邻分类器[J]. 东北大学学报:自然科学版, 2019, 40(7): 932-936.
[6]	吕帅，张桐搏，王强，刘磊. 两种新的基于扩展规则#SAT问题求解算法[J]. 东北大学学报:自然科学版, 2019, 40(5): 630-635.
[7]	王珏，乔建忠，林树宽. 基于距离和时序的层次粒度支持向量回归机[J]. 东北大学学报:自然科学版, 2016, 37(7): 942-946.
[8]	顾德英，王娜，李文超，陈龙. 基于模型融合的低照度环境下车道线检测方法[J]. 东北大学学报（自然科学版）, 2021, 42(3): 305-309.
[9]	王姝，关展旭，王晶，孙晓辉. 基于迁移学习的贝叶斯网络参数学习方法[J]. 东北大学学报（自然科学版）, 2021, 42(4): 509-515.
[10]	王姝，任玉，关展旭，王晶. 基于差异信息量的多源数据融合方法[J]. 东北大学学报（自然科学版）, 2021, 42(9): 1246-1253.
[11]	常玉清，赵炜炜，刘乐源，康孝云. 基于实例迁移的磨煤机过程监测建模[J]. 东北大学学报（自然科学版）, 2021, 42(10): 1369-1375.
[12]	丁来旭，刘洪娟. 复杂网络上基于多维特征表示学习的推荐算法[J]. 东北大学学报（自然科学版）, 2022, 43(3): 359-367.
[13]	赵海，陈佳伟，施瀚，王相. 一种应用于人体活动识别的迁移学习算法[J]. 东北大学学报（自然科学版）, 2022, 43(6): 776-782.
[14]	刘洋，闫冬梅，孟范伟. 基于Transformer改进的两分支行人重识别算法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 26-32.
[15]	王瀛，王泽浩，李红，黄文军. 基于深度学习的威胁情报领域命名实体识别[J]. 东北大学学报（自然科学版）, 2023, 44(1): 33-39.