单目视频图像序列三维重建方法

doi:10.12068/j.issn.1005-3026.2024.12.002

摘要/Abstract

摘要：

针对单目场景下的三维重建，由于运动模糊和小基线图像的存在导致图像模糊、特征点匹配低、重建精度差等问题，提出一种单目视觉系统的三维重建方法.首先，根据图像的边缘信息利用小波变换检测原始数据中的模糊图像并剔除，通过几何鲁棒性准则筛选出宽基线图像，得到用于三维重建的清晰图像；其次，提出了基于区域划分的错误匹配特征点剔除算法，剔除重复匹配和错误匹配特征点；最后，提出3种不同区域增长方式获取更多特征点进行三维点计算.结果表明，提出的方法有效地去除了错误匹配特征点，提高了特征点匹配的准确率，获得了更多的点云数量，提高了重建模型的精度和完整度.

关键词: 三维重建, 关键帧筛选, 特征提取, 稀疏稠密化, 区域增长

Abstract:

For 3D reconstruction in uncalibrated monocular scene， due to the existence of motion blur and small baseline image， there are still problems such as blurred image， low feature matching， and reconstruction accuracy. A 3D reconstruction method of monocular vision system is proposed. Firstly， the fuzzy image in the original data is detected and removed by wavelet transform algorithm according to the edge information of the image， and the wide baseline image is screened by geometric robustness criterion to obtain clear images for 3D reconstruction. Then， an algorithm for eliminating mismatched feature points based on region division is proposed to eliminate repeated matching and mismatched feature points. Finally， three different regional growth methods are proposed to obtain more feature points for three‑dimensional point calculation. The results show that the proposed method can effectively remove mismatched feature points， improve the accuracy of feature point matching， obtain more point clouds， and improve the integrity and accuracy of the reconstructed model.

Key words: 3D reconstruction, key frame screening, feature extraction, sparse and dense, regional growth

中图分类号:

TP 391.4

沙晓鹏, 曹加奇, 李文静, 秦晔. 单目视频图像序列三维重建方法[J]. 东北大学学报（自然科学版）, 2024, 45(12): 1680-1687.

Xiao-peng SHA, Jia-qi CAO, Wen-jing LI, Ye QIN. Three-Dimensional Reconstruction Method of Monocular Video Image Sequences[J]. Journal of Northeastern University(Natural Science), 2024, 45(12): 1680-1687.

图/表 14

图1 单目视觉系统三维重建流程图

Fig.1 Flowchart of 3D reconstruction for monocular vision system

图2 模糊图像和关键帧图像筛选算法

Fig.2 Blurred image and key frame image screening algorithm

图3 基于区域划分的错误匹配特征点剔除算法流程图

Fig.3 Flow chart of error‑matching feature point elimination algorithm based on region division

图4 区域增长示意图

Fig.4 Schematic diagram of region growing

图5 实验目标数据采集

Fig.5 Experimental target data acquisition

表1 模糊图像剔除与关键帧筛选

Table 1 Fuzzy image elimination and key frame screening

筛选方法	总图像	模糊图像	清晰图像	非关键帧	关键帧
Harr+对应约束	278	66	212	74	138
Harr+SSIM	278	66	212	53	159
本文方法	278	66	212	37	175

图6 特征点匹配结果（a）—初始匹配；（b）—RANSAC结果；（c）—本文方法.

Fig.6 Feature point matching results

表2 特征匹配对比

Table2 Comparison of feature matching

图像数据	方法	初始匹配/个	去重后/个	正确匹配点/个	正确率/%	时间/s
LUsphinx^[12]	RANSAC	1 311	1 311	602	46	7
LUsphinx^[12]	本文方法	1 311	856	832	63	4
Golden_statue^[13]	RANSAC	5 386	5 386	2 950	55	23
Golden_statue^[13]	本文方法	5 386	5 184	4 281	79	15
本文图像数据	RANSAC	2 133	2 133	405	19	10
本文图像数据	本文方法	2 133	1 800	1 057	50	6

图7 LUsphinx稀疏三维点云重建结果（a）—SFM方法；（b）—本文方法RG4；（c）—本文方法RG8；（d）—本文方法RG16.

Fig.7 LUsphinx sparse 3D point cloud reconstruction results

图8 Golden_statue稀疏三维点云重建结果（a）—SFM方法；（b）—本文方法RG4；（c）—本文方法RG8；（d）—本文方法RG16.

Fig.8 Golden_statue sparse 3D point cloud reconstruction results

表3 稀疏三维点云重建数据

Table 3 Sparse 3D point cloud reconstruction data

方法	LUsphinx稀疏点云	Golden_statue稀疏点云
文献[12-13]	32 668	39 950
SFM方法	67 488	15 347
本文方法（RG4）	114 254	27 712
本文方法（RG8）	113 381	27 483
本文方法（RG16）	137 854	32 886

图9 稠密三维点云重建结果（a）—SFM和PMVS；（b）—本文方法.

Fig.9 Dense 3D point cloud reconstruction results

表4 稠密三维点云重建数据

Table 4 Dense 3D point cloud reconstruction data

参数指标数据	方法	点云/个	增加点云数/个	重建时间/s	RMSE	Hausdorff距离
LUsphinx^[12]	PMVS^[14]	352 899	29 844	303	0.108 399	0.108 399
LUsphinx^[12]	本文方法	382 743	29 844	645	0.108 399	0.108 399
Golden_statue^[13]	PMVS^[14]	104 557	42 418	83	0.048 637	0.016 452
Golden_statue^[13]	本文方法	146 975	42 418	179	0.048 637	0.016 452

图 10 稠密三维点云表面网格重建（a）—SFM和PMVS；（b）—本文方法.

Fig.10 Dense 3D point cloud surface mesh reconstruction

参考文献 14

1	Barrile V， Bernardo E， Bilotta G.An experimental HBIM processing：innovative tool for 3D model reconstruction of morpho‑typological phases for the cultural heritage［J］.Remote Sensing，2022，14：1288.
2	胡正乙，谭庆昌，孙秋成.基于RGB-D的室内场景实时三维重建算法［J］.东北大学学报（自然科学版），2017，38（12）：1764-1768.
	Hu Zheng‑yi， Tan Qing‑chang， Sun Qiu‑cheng.RGB-D based indoor scene real‑time 3D reconstruction algorithm［J］.Journal of Northeastern University （Natural Science），2017，38（12）：1764-1768.
3	Tian F G， Gao Y B， Fang Z J，et al.3D reconstruction with auto‑selected keyframes based on depth completion correction and pose fusion［J］.Visual Communication Image Represent，2021，79：103199.
4	Zhang Y Z， Zhang J Y， Liu R X，et al.Key frame extraction based on quaternion Fourier transform with multiple features fusion［J］.Expert Systems with Applications，2023，216：11119467.
5	何鑫睿，李秀梅，孙军梅，等.基于改进Pix2Vox的单图像三维重建网络［J］.计算机辅助设计与图形学学报，2022，34（3）：364-372.
	He Xin‑rui， Li Xiu‑mei， Sun Jun‑mei，et al.Improved Pix2Vox based 3D reconstruction network from single image［J］.Journal of Computer-Aided Design & Computer Graphics，2022，34（3）：364-372.
6	Won J， Park J W， Song M H，et al.Robust vision‑based displacement measurement and acceleration estimation using PANSAC and Kalman filter［J］.Earthquake Engineering and Engineering Vibration，2023，22（2）：347-358.
7	Nielsen M S， Nikolov I， Kruse E K，et al.Quantifying the influence of surface texture and shape on structure from motion 3D reconstruction［J］.Sensors，2023，23（1）：178-200.
8	Ito K， Ito T， Aoki T.PM-MVS：PatchMatch multi‑view stereo［J］.Machine Vision and Applications，2023，34：32-48.
9	Li Z X， Zuo W M， Wang Z Q，et al.Robust 3D reconstruction from uncalibrated small motion clips［J］.The Visual Computer，2022，38（5）：1589-1605.
10	Tong H H， Li M J， Zhang H J，et al.Blur detection for digital images using wavelet transform［C］//IEEE International Conference on Multimedia & Expo.Taipei，2004：17-20.
11	Torr P H S.Geometric motion segmentation and model selection［J］.Philosophical Transactions of the Royal Society of London.Series A：Mathematical，Physical and Engineering Sciences，1998，356：1321-1340.
12	Olsson C， Enqvist O.Stable structure from motion for unordered image collections［C］// Proceedings of the Scandinavian Conference on Image Analysis.Berlin：Springer，2011：524-535.
13	Enqvist O， Kahl F， Olsson C.Non-sequential structure from motion［C］//2011 IEEE International Conference on Computer Vision Workshops.Barcelona，2011：264-271.
14	Furukawa Y， Ponce J.Accurate，dense，and robust multiview stereopsis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（8）：1362-1376.

[1]	王植, 王坤, 王梦晴. 多尺度特征融合的Transformer遥感影像超分辨率重建[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1178-1184.
[2]	李寿涛，屈如意，张宇，于丁力. 基于变分模态分解的冻结步态识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1543-1548.
[3]	刘洋，闫冬梅，孟范伟. 基于Transformer改进的两分支行人重识别算法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 26-32.
[4]	王娜，李杨，彭锟. 基于多角度特征提取的舵机故障诊断方法[J]. 东北大学学报（自然科学版）, 2022, 43(9): 1240-1249.
[5]	于哲舟，刘岩，刘元宁. 基于YOLOV3改进的虹膜定位算法[J]. 东北大学学报（自然科学版）, 2022, 43(4): 496-501.
[6]	闫康，黄训江，张强，王登. 基于At-LSTM的产品创新特征识别[J]. 东北大学学报（自然科学版）, 2022, 43(10): 1506-1512.
[7]	任朝晖，于天壮，丁东，周世华. 基于VMD-DBN的滚动轴承故障诊断方法[J]. 东北大学学报（自然科学版）, 2021, 42(8): 1105-1110.
[8]	韩鹏，郭天，汪晋宽，史泽伟. 基于mRMR-ESN的单变量光伏功率预测[J]. 东北大学学报（自然科学版）, 2021, 42(2): 174-179.
[9]	赵琪珲，李大鹏，高天寒，闻英友. 基于图注意力网络的案件罪名预测方法:CP-GAT[J]. 东北大学学报（自然科学版）, 2021, 42(12): 1681-1687.
[10]	李晨，张家伟，张昊，汪茜. 基于生成对抗网络的低分化宫颈癌病理图像分类[J]. 东北大学学报:自然科学版, 2020, 41(7): 1054-1061.
[11]	罗洋，齐林，徐礼胜. CTA图像冠状动脉开口层与开口点的全自动定位方法[J]. 东北大学学报:自然科学版, 2020, 41(11): 1570-1576.
[12]	侯延彬，陈炳均，高宪文. 基于GM-ELM的有杆泵抽油井故障诊断[J]. 东北大学学报:自然科学版, 2019, 40(12): 1673-1678.
[13]	纪英俊，勇晓玥，刘英林，刘士新. 基于随机森林的热轧带钢质量分析与预测方法[J]. 东北大学学报:自然科学版, 2019, 40(1): 11-15.
[14]	刘长福，朱立达，仇健，李明. 基于VMD和FFT的变切深侧铣颤振特征提取方法[J]. 东北大学学报:自然科学版, 2018, 39(8): 1153-1157.
[15]	陈星池，黄淑春，赵海，王晓漫. 基于极限学习机的中医脉象识别方法[J]. 东北大学学报:自然科学版, 2017, 38(9): 1226-1229.