基于Tango手机系统的3D扫描系统设计和实现电子信息工程专业.docx

摘要1Abstract2第一章绪论41.13D扫描系统的研究背景与意义41.2国内外研究现状51.2.1三维重建研究现状5L2.2基于视觉的SLAM技术5L3本设计内容及结构安排7第二章数据信息采集与处理82.1Tango手机的硬件构成82.2利用Tango手机采集数据82.3标定与滤波处理102.4本章小结12第三章基于特征点的视觉里程计133.1视觉里程计133.1.1特征点提取133.1.2ORB特征提取算法143.2特征点匹配163. 3本章小结18第四章闭环检测与非线性优化194. 1闭环检测194.1.1闭环检测的意义194.1.2词袋模型204.2非线性优化214. 2.1非线性系统的状态估计215. 2.2图优化与g2o框架224. 3本章小结23第五章实验验证分析244.1 实验设备环境及操作方法244.2 实验操作与结果分析245. 2.1信息采集与处理实验245. 2.2视觉里程计模块实验256. 2.3闭环检测与非线性优化实验265. 2.4场景重建实验285. 3本章小结30第六章总结与展望316. 1全文总结316.2工作展望31参考文献33致谢错误!未定义书签。基于Tango手机系统的3D扫描系统设计摘要在人工智能和计算机视觉快速发展的时代背景下，设计3D扫描系统对场景进行三维重建是前沿和热点问题之一。目前的三维重建技术根据传感器不同，主要分为基于激光雷达设备的建模和基于视觉的相机建模。激光雷达设备具有高精度，高实时性的特点，但其价格昂贵，成本太高，且适用环境受到限制，在空中或水下的建模效果差；基于视觉的三维重建设备代表之一是微软公司推出的KineCt相机，其可以捕捉RGB图像和深度图像中的信息从而实现场景的三维重建，成本低廉，但存在精确度较低，重建操作复杂，不易携带等缺陷。针对此问题，本设计提出基于Tango手机的3D扫描系统。利用联想公司推出的Tango嵌入式手机，实现对场景的实时三维重建，在保证重建精度的基础上，降低了硬件成本，简化了重建操作，同时便于携带，具有广泛而深远的发展前景。本文介绍TTango手机平台的硬件结构以及利用RGB-DSLAM技术采集数据信息的原理；使用张正友标定法和高斯滤波对数据进行预处理从而减小系统误差和噪声对重建效果的影响；通过比较多种特征点的提取和匹配算法，最终确定采用改进的ORB特征提取算法配上BRIEF描述子和K-D树搜索算法来实现；基于视觉内容搭建词袋模型，利用闭环检测解决场景模型的累积漂移问题；最后采用g2o框架进行图优化，解决非线性系统的位姿状态估计问题。通过实验对本设计进行验证，利用Tango手机开发平台对多个室内场景三维重建，并对比KineCt的扫描系统，操作简单，重建速度较快，具有相对的高实时性，同时重建模型精度满足任务要求，总体达到了预期目标。关键词：Tango；RGB-DSLAM；ORB算法；闭环检测；图优化AbstractUnderthebackgroundoftherapiddevelopmentofartificialintelligenceandcomputervision,designing3Dscanningsystemstoperform3Dreconstructionofscenesisoneofthefrontierandhotissues.Thecurrentthree-dimensionalreconstructiontechnologyisbasedondifferentsensorsandismainlydividedintotwotypes:Lidar-basedmodelingandvisionbasedcameramodeling.Laserradarequipmenthasthecharacteristicsofhighprecisionandhighreal-timeperformance,butitspriceishigh,theapplicableenvironmentislimited,andthemodelingeffectintheairorunderwaterispoor;oneoftherepresentativesofvisualbased3DreconstructionequipmentistheKinectcameralaunchedbyMicrosoftCorporation,whichcancapturetheinformationintheRGBimageanddepthimagetoachievethethree-dimensionalreconstructionofthescene.Thecostislow,butthereisaloweraccuracy,complexreconstructionoperations,noteasytocarryandotherdefects.Tosolvethisproblem,thisdesignproposesa3DscanningsystembasedonTangomobilephones.UsingtheTangoembeddedmobilephoneintroducedbyLenovo,therealtime3Dreconstructionofthesceneisrealized.Onthebasisofensuringthereconstructionaccuracy,thehardwarecostisreducedandthereconstructionoperationissimplified.Itisconvenienttocarryandhasextensiveandfar-reachingdevelopmentprospects.ThisarticleintroducesthehardwarestructureoftheTangomobilephoneplatformandtheprincipleofusingRGB-DSLAMtechnologytocollectdatainformation.ItusesZhengyouZhangcalibrationmethodandGaussianfiltertopreprocessthedatatoreducetheinfluenceofsystemerrorandnoiseonthereconstructioneffect;Bycomparingtheextractionandmatchingalgorithmsofmultiplefeaturepoints,theORBfeatureextractionalgorithmisfinallydeterminedtomatchtheBRIEFdescriptorandtheK-Dtreesearchalgorithm;Basedonthevisualcontent,abagmodelisbuilttosolvetheproblemofcumulativedriftofthescenemodelbyusingclosed-loopdetection.Finally,thegraphisoptimizedbyusingtheg2oframeworktosolvetheposestateestimationproblemofthenonlinearsystem.Theexperimentwasusedtoverifythedesign,usingtheTangomobilephonedevelopmentplatformtoperform3DreconstructionofmultipleindoorscenesandtocomparethescanningsystemofKinect.Theoperationissimple,therebuildingspeedisfast,andithasrelativelyhighreal-timeperformance.Atthesametime,theaccuracyofthereconstructionmodelmeetstherequirementsofthetask,andtheoverallgoalisachieved.Keywords:Tango;RGB-DSLAM;ORBalgorithm;closed-loopdetection;graphoptimization第一章绪论1.1 3D扫描系统的研究背景与意义人工智能（ArtifiCiallmelligenCe）是二十世纪五十年代的产物，发展至今，已成为二十一世纪三大尖端技术（基因工程、纳米科学、人工智能）之一。人工智能近三十年里的进步飞速，在涉及到的很多科学领域内都取得了丰硕的成果。其中，计算机视觉是人工智能的重要分支，利用传感器代替人眼，通过计算机进行信息处理后，可以对目标进行识别、跟踪和分析，使计算机能够像人那样通过视觉观察和分析，获得自主适应环境的能力。本文研究的3D扫描系统设计，旨在通过摄像机采集数据并通过一系列处理方式，达到实时地构建出场景的三维模型。三维重建技术的应用方向极为广泛，在机器人自主导航、无人汽车、无人机航拍、教育、3D打印、医疗影像、虚拟现实游戏及电影等领域，是未来不可或缺的一项技术，具有着广阔的发展前景。三维重建技术的发展之初是利用机器人携带相机对场景进行拍摄或扫描，结束之后将获得的视频或照片在具有强大功能的计算机上处理，以此完成对场景的三维重建。但这种方法存在一个明显的缺陷：非实时性。一旦场景发生变化，重建的价值也会大打折扣。为解决这个问题，研究人员提出了以视觉传感器为中心的视觉SLAM网（SimultaneousLocalizationandMapping,同时定位与地图构建）技术，涉及数学、物理学、几何学、图像处理、机器人、仪器科学等多门学科。它是指携传感器的主体，在没有环境这类先验信息的情况下，通过运动过程中获取的信息，建立周围环境的模型，同时估计自己的运动轨迹。利用视觉SLAM技术进行场景三维重建的代表之一就是手持扫描仪KinectFusiono用户手持Kinec*相机，缓慢移动，将采集到的数据直接反馈给具有强大处理能力的GPU和CUP计算机，再经过一个优化的过程，即可在计算机上实时观测到高质量，几何精确的场景三维模型。不同于PC端的实时三维重建，本文的研究方向是基于嵌入式设备的实时三维重建，将PC端上操作复杂的重建系统简化到一个嵌入式设备上，在尽量不牺牲重建精确性的基础上，实现操作简单，携带方便的3D扫描系统设备。主要利用了联想公司推出的Tango手机设备和RGBD-SLAM技术以达到预期目标。1.2 国内外研究现状1.2.1 三维重建研究现状三维重建技术按实时性分为非实时性重建和实时性重建，按传感器种类分为激光雷达设备和视觉传感器设备，按实现平台分为PC端和手机端。随着计算机视觉领域的不断扩大，SLMA技术也被用于解决在未知环境中机器人的定位和构建地图问题。基于此的视觉SLAM在三维重建领域带来了转变和突破。目前，主流的重建方式是基于激光雷达的PC端三维重建，用于满足工业上的需求，其高精确度是其他重建方式不可比拟的，但由于设备的高额成本，无法实现在日常生活中的普及。另一类重建方式是利用最普遍的传感器一相机采集视觉数据，降低了成本，但精确度下降，如微软公司的Kinect和GOogle公司的Tango平台。此类的研究方向大多是利用Kinect相机的特有结构进行场景重建，要想取得较好的模型需要改进各个模块算法或利用GPU加速实现。基于KineCt的