基于RGB-D的室内场景实时三维重建算法

doi:10.12068/j.issn.1005-3026.2017.12.020

东北大学学报:自然科学版 ›› 2017, Vol. 38 ›› Issue (12): 1764-1768.DOI: 10.12068/j.issn.1005-3026.2017.12.020

基于RGB-D的室内场景实时三维重建算法

胡正乙^1,2，谭庆昌¹，孙秋成³

(1. 吉林大学机械科学与工程学院，吉林长春130022; 2. 长春汽车工业高等专科学校，吉林长春130013; 3. 长春师范大学，吉林长春130032)

收稿日期:2016-07-18 修回日期:2016-07-18 出版日期:2017-12-15 发布日期:2018-01-02
通讯作者: 胡正乙
作者简介:胡正乙(1984-)，男，吉林长春人，吉林大学博士研究生，长春汽车工业高等专科学校讲师；谭庆昌(1957-)，男，吉林海龙人，吉林大学教授，博士生导师.
基金资助:
国家自然科学基金资助项目(51405184).

RGB-D Based Indoor Scene Real-Time 3D Reconstruction Algorithm

HU Zheng-yi^1,2， TAN Qing-chang¹， SUN Qiu-cheng³

1. College of Mechanical Science & Engineering， Jilin University， Changchun 130022， China; 2. Changchun Automobile Industry Institute， Changchun 130013， China; 3. Changchun Normal University， Changchun 130032， China.

Received:2016-07-18 Revised:2016-07-18 Online:2017-12-15 Published:2018-01-02
Contact: HU Zheng-yi
About author:-
Supported by:
-

摘要/Abstract

摘要： 针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题，提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测，再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束，初步筛选出相邻帧间正确的匹配点对，再结合随机抽样一致性(RANSAC)算法去除外点，以此得到相机的姿态估计.最后利用RGB-D的深度图像，在图优化方法(g2o)的基础上生成三维点云，实现室内场景的三维重建.实验中，RGB-D摄像头装载在自主移动导航的小车上，实时重构的三维场景验证了所提算法的可行性和准确性.

关键词: RGB-D, 三维重建, 特征点深度约束, 特征点局部近邻约束, 实时性

Abstract: A novel RGB-D based feature point depth constraint and locality constraint integrated real-time indoor scene 3D reconstruction algorithm is proposed， which focusing to solve problems such as the inaccuracy of 3D point cloud matching， excessive time consuming and the loss of point depth. Firstly， the feature points are detected using Harris point detector， and then labeled with 64 dimensional vector using SURF descriptor. Secondly， the initial correct feature point pairs are selected between the successive frames with the depth information constraint and feature point locality constraint in addition to vector similarity constraint. Thirdly， the outliers are removed and the camera pose is estimated based on the random sample consensus(RANSAC) method. Eventually， 3D point clouds are determined using the general graph optimization (g2o) facilitating the indoor scene reconstruction. In the experiments， the RGB-D camera is fixed on the automatic guided vehicle to capture the indoor surrounding scenes. Experimental results validate that the proposed approach is feasible and effective.

Key words: RGB-D, 3D reconstruction, feature point depth constraint, feature point locality constraint, instantaneity

中图分类号:

TP391.4

胡正乙，谭庆昌，孙秋成. 基于RGB-D的室内场景实时三维重建算法[J]. 东北大学学报:自然科学版, 2017, 38(12): 1764-1768.

HU Zheng-yi， TAN Qing-chang， SUN Qiu-cheng. RGB-D Based Indoor Scene Real-Time 3D Reconstruction Algorithm[J]. Journal of Northeastern University Natural Science, 2017, 38(12): 1764-1768.

参考文献

[1]郑立国，罗江林，许舸.基于Kinect的动作捕捉系统的实现［J］.吉林大学学报(工学版)，2013，43(sup1):249-255.(Zheng Li-guo，Luo Jiang-lin，Xu Ge.Implementationon mocap system based on Kinect［J］.Journal of Jilin University(Engineering and Technology Edition)，2013，43(sup1):249-255.)
[2]Khoshelham K，Elberink S O.Accuracy and resolution of Kinect depth data for indoor mapping applications［J］.Sensors，2012，12(2):1437-1454.
[3]王鑫，汪晋宽，刘志刚，等.基于随机森林的认知网络主用户信号调制类型识别算法［J］.东北大学学报(自然科学版)，2014，35 (12):1706-1709.(Wang Xin，Wang Jin-kuan，Liu Zhi-gang，et al.Primary user signal recognition algorithm based on random forest in cognitive network［J］.Journal of Northeastern University(Natural Science)，2014，35(12):1706-1709.)
[4]Ma X F，Volos H I，Zheng X W，et al.A variation-aware approach for task allocation in wireless distributed computing systems［C］// IEEE Global Communications Conference.Atlanta，2013:5006-5011.
[5]Besl P J，McKay N D.Method for registration of 3-D shapes［J］.IEEE Transaction and Pattern Analysis and Machine Intelligence，1992，14(2):586-606.
[6]Du H，Henry P，Ren X.Interactive 3D modeling of indoor environments with a consumer depth camera［C］// Proceedings of the 13th International Conference on Ubiquitous Computing.Beijing，2011:75-84.
[7]Newcombe R A，Izadi S，Hilliges O.Kinect fusion:real-time dense surface mapping and tracking［C］//10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR).Basel，2011:127-136.
[8]Dryanovski I，Valenti R G，Xiao J.Fast visual odometry and mapping from RGB-D data［C］// IEEE International Conference on Robotics and Automation (ICRA).Karlsruhe，2013:2305-2310.
[9]辛菁，苟蛟龙，马晓敏，等.基于Kinect的移动机器人大视角 3 维 V-SLAM［J］.机器人，2014，36(5):560-568.(Xin Jing，Gou Jiao-long，Ma Xiao-min，et al.A largeviewing angle 3-dimensional V-SLAM algorithm with a Kinect-based mobile robot system［J］.Robot，2014，36(5):560-568.)
[10]Ma X F，Fang Y，Ba X Z.A balanced energy consumption clustering algorithm for heterogeneous energy wireless sensor networks［C］//IEEE International Conference on Wireless Communications，Networking and Information Security.Beijing，2010:382-386.
[11]Umeyama S.Least-squares estimation of transformation parameters between two point patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(4):376-380.

基于RGB-D的室内场景实时三维重建算法

RGB-D Based Indoor Scene Real-Time 3D Reconstruction Algorithm

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics

本文评价

[1]	徐久强，路佳熹，李鹤群，赵海. 基于SDN的工业物联网组播通信框架研究[J]. 东北大学学报（自然科学版）, 2023, 44(2): 192-198.
[2]	马树军，王英蕾，金铁铮，白昕晖. 一种融合单目信息的RGB-D SLAM优化方法[J]. 东北大学学报:自然科学版, 2020, 41(6): 841-846.
[3]	王斐，魏晓童，秦皞. 基于sEMG和LSTM的下肢连续运动估计[J]. 东北大学学报:自然科学版, 2020, 41(3): 305-311.
[4]	李芳芳，刘栋，高宪文，于戈. 基于多目标规划的WSN路径动态选择算法[J]. 东北大学学报(自然科学版), 2013, 34(8): 1082-1085.
[5]	吕鸣松，郭浩，关楠. MRUCache替换算法平均性能剖析[J]. 东北大学学报（自然科学版）, 2013, 34(11): 1554-1557.
[6]	黄海龙;王宏;李微;. 一种基于数学形态学的签名真伪鉴别方法[J]. 东北大学学报(自然科学版), 2011, 32(6): 854-858.
[7]	林恺;赵海;尹震宇;毕远国;. 一种基于TinyOS的自适应双环调度策略[J]. 东北大学学报(自然科学版), 2007, 28(7): 985-988.
[8]	曹万科;张天侠;周淑文;陈启明;. 基于CAN与TTCAN的汽车整车分层控制网络及调度[J]. 东北大学学报(自然科学版), 2007, 28(11): 1640-1643.
[9]	潘峰;武威;杨轶璐;徐心和. 视觉定位脑外科手术机器人系统的坐标映射[J]. 东北大学学报(自然科学版), 2005, 26(5): 413-416.
[10]	胡英;王怀志;徐心和. 基于光线投射技术的医学图像三维重建[J]. 东北大学学报(自然科学版), 2004, 25(1): 1-4.