一文了解3D视觉成像原理.docx

3D视觉成像是工业机器人信息感知的一种最电要的方法,可分为光学和非光学成像方法.目前应用最多的还是光学方法，包括：飞行时间法、结构光法、激光扫描法、其尔条钗法、激光散班法、干涉法、照相测地法、激光跟踪法、从运动获得形状、从阴影获得形状,以及戈他的ShaPefromX等.本次介绍几种典型方案.1 .飞行时间3D成像飞行时间(TOF)相机"NMf利用光飞行的时间差来骁取物体的深.在经典的ToF测量方法中.探测潺系统在发射光脉冲的同时启动探测接收总元进行计时,当探测器接收到目标发出的光【可波时，探测器直接存储往返时,k目标距离Z可通过以下简单方程估算:这种测距方式也称为宜接TOFa)TOF)，D-ToF通常用于单点测距系统，为了实现面枳范围3D成像，通常需要采用扫描技术。无扫描TOF三维成像技术直到近几年才实现，因为在像素级实现亚纳秒电子计时是非常困难的.与直接计时的I)-ToF不同的方案是间接ToF(I-TOH,时间往返行程是从光强度的时间选通测吊中间接外推获得，I-ToF不需要精确的计时，而是采用时间选通光子计数器或电荷枳分着.它们可以在像素级实现.ITOF是目前基于TOF相机的电子和光混合潺的商用化解决方案。ToF成像可用于大检野、远距离、低1«度、低成本的3D图像采集.其特点是:检海速度快、视野落B1.较大、工作距离远、价格便宜，但精度低，舄受环境光的干扰.2 .扫描3D成像扫描3D成像方法可分为归指译距.主动三角法.色故共焦法*.其实,色放共焦法是扫描测距法的一种,考虑到目前在手机、平板显示等制造行业应用比较广泛.在此单独介绍.1 .扫描窝距扫描测距是利用一条准直光束通过一维测斯扫描於个目标表面实现3D测量，典型扫描测距方法有：1、单点飞行时间法，如连续波艰率调制（FM=）窝距、脉冲那距（微光达）9.2、激光IR射干涉法，如基于多波长干涉、全息干涉、白光干涉故意干涉等原理的干涉仪：3、共焦法，如色敛共焦、自聚焦答.单戊测距扫描30方法中，单点飞行时间法适合远距离扫描，冽果精度较低，股在富米收级.其他几种单点扫描方法有：单点激光干涉法、共触法和愀点激光主动三地法，测量箱度校而，但前者对环境要求高：线扫描精度适中，效率高.比较适合于机械手第末湍执行3D测的应是主动激光三角法和色敌共焦法。2 .主动三角法主动三角法是基于.角测卜；原理，利用油!光束、一条或多条平面光束扫描目标衰面完成3D流鱼的.光束常采用以卜'方式获得：液光准直、If1.1.柱或二次曲面柱形棱角扩束，非相干光（如白光、1.ED光源）通过小孔、狭烧（光桥）投影或相干光衍射等.主动三角法可分为三种类吧：*点扫描、单线扫描和多线扫捧.目前商业化的用于机械手臂末端的产品大多数是单点和单线扫描仪.SCS:sm»r<ot>111.uMrx>¾tffn;CCHcamerac<MNdirute冲Min：*S:w<vW(Qa1.mnCoOn1.1.nf1.tGMyMrmM<主动三角法打摘成像31.(aMf(光束一埔剧即，(h>光条汝彩二烤校际淘量，”)多光条投影：雄国彩焉*Fig.4Artivr1.ru4cubimonnnrn*gr<m<1.b<Mp.（八）(X1.A11rmrMircvnrntUWro1.1.UU1.i“.IxfeIiffM;(b)21)ncMr<tnmW1.1.hnNhCC1.ofIinhtPgjEioci;<c)3(>mcaHun*11H,ntWi1.hamuhr*ber1.RhPraEt1.On在多戏扫描方法中，条蚊极数可毒识别是成点。为了准确识别条纹编文通常采用两组垂直光平面高速交替成像.这样还可以实现“F1.yingTrianguWTon”扫描,其扫描与三维城构过程如下图所示.多找条投影一次粉闪成像产生一帽稀疏3D视图,通过纵横向条纹投影扫描生成若干幡3D视图序列,再通过三维图像准配生成新分辨率的完将致密的三维曲面模蛰。Camera-images(sing1.e-shoesensor>31)daugenerationSpanc3DviewsA1.ignmentofsing1.ec×pown×n-k1.)cn%e3Dmode1.3 .色故共像法色数共焦似乎可以扫描蒲M把相光常的不透明和透明物体，如反射依面、透明St璃面等，目M在手机板三罐检温等旗广受欢电.色散其然扫描有:种类型：单点一维绝对费距扫描、多点阵列扫描和越谖线归描，下图分别列出了绝对刈距和连续式扫描两类示例，具中连续线扫描也是一种阵列扫描，只是阵列的点阵更多、更密集.在商业产品上，目前较为知名的扫描光谱共触传感器是法国的STI1.MPIS180.采用180个所列点形成条线,最大线长1.Q3911三（测坂点11.5pm.点与点间距为22.5pm）,另款产品是芬兰的FOCA1.SPBCUU1.A,采用的是色敢共照三角法技术，M4KAeCt共体4篇即“统.(CJKF小礼m分尤修的雄府“b>MFYB允歼光的F6TWoIyBofChromaiteconfoca1.me*vcmcnIrchndoey.（八）Sruc<urc*Uxdon(MnMk4ndbeam,冰t-；(b>ZrUC1.SeIuwdanY-yproptica1.fiberMrawrvmen1.p1.ane«7月脖色共鼬线t"政It方案G>色眩共勉5<b)色Rt解*:m法W)Fig.7Tx>typechemNirofchromaitccobfoca1.bne«can11u<ingtechnique.(>QIrOaMtKaxf<xa1.mn>oe011；<b)cKromaiCanikrd<nng1.atm1.433.结构光投影3D成像结岗光投影三维成像目前是机制人3D觇觉那知的主要方式，结构光成像系统是由若卜个投影仪和相机纲成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、服相机-Xi投影仪和单相机-多投影仪等典型结内形式.结构光投影:维成像的基本工作原理是：投影仪向目标物体投射特定的结构光照明图案,由相机餐取被目标制后的图ft.再通过图像处理和视At模型求出目标物体的三维侑息常用的投影仪主要疔下列几种类型：液晶投影（1.CD）、数字光调制投影（D1.R如数字微镜器件（DMD）、激光1.ED图案直接投影.根据结构光投影次数划分,结构光投影.推成便可以分成单次投影3D和多次投影3D方法.1 .单次投影成0单次投影结构光主要采用空间复印编码和频率复用编码形式实现，常用的编码形式有：彩色编码、灰度索引、几何形状涮码和随机斑点。目前花机器人手眼系统应用中，对于三罐窝北精度要求不高的场合,如现总、拆址、三维抓取等.比较受双迎的是投射伪Wi机斑点获得目标三维信息，其3D成像原理如下图所示。ff1.s伪*Rk(n密31)成像0及'律法过"Fi.8PrifKipkanda1.gorithmPnXe5»ofPMaUdO-spcddeprojection3Dinnging2 .多次投影成像多次投影3D方法主要采用时间复用编码方式实现.常用的图案娘码形式有：二进制编码、多频和移编码t35和混合编码法（如格雷码十相移条纹）等.条纹投影3D成侬基本原埋如卜图所示，利用计算机生成结构光图案或用特殊的光学装置产生结构光，经过光学投影系统投射至被测物体表面,然后采用图像获取设鲁（如CCD或CMOS相机）采集被物体表面调制后发生变形的结构光图像，利用图像处理算法计算图像中行个像素点与物体轮唬上点的对应关系：最后通过系统结构模型及其标定技术，计算得到被测物体的三维轮廓信息.在实际应用中，常采用格番码投影、正弦相移条纹:投影或格雷码十正弦相移混合投影31）技术.ff1.!>多次投爵3Dtt.多次投重3D系及机内不0图，(b>二进“格击码投影31>国本早咫，<c>-三MWKH+正技相“混介妲科投爵3DF.9Muhrbot31)nwng.<)ConAcxra1.k>nchcmncw<4nmu1.1.111.>1.31.>114n;(b)>rc>1.rM1.*nry(»raycode31)imaging;<c)mixedw0>dWi1.hbinary(JriycodeandPhAK*h*fii11RIor31)InMeinR3 .偏折法成像对于粗糙表面，结构光可以宜接投射到物体衣面进行视觉成像测量；但对于大反射率光滑表面和镜面物体3D测Ik结构光投影不能直接投射到拔刈则发面,3D冽信还痛要借助镜面偏折技术，如下图所示.mio尤a&血偏折两鼠方*示意版.(*>偏折生机;B人rm系统示例g】“b)偏折法测Ii过W示MwFi«.10Scbrmatioofdvf1.ec1.om<ry(or1.nKh1.MirGicv.（八）Drmcxudm1.ionofnnry<nhMdr1.>(ordef1.cvto11>v<ry1.3;(b)c1.amio<ofmcaxurrm<,nPrOrCMofdcfkctomcir/*3在这种方案中,条纹不是出接投影到被测则轮廓上.而是投射到一个散射屏上,或用液招显示屏代替散射屏把条纹直接显示H1.来.相机通过光亮衣面折返光路,获取被光亮表面曲率变化调制的条纹信息，然后解算出三维轮廓形貌4.立体视觉3D成像立体觇党字面意思是用一只眼睛或两只眼睛落知三维结构，一般情况下是指从不同的觇点获取两场或多陶图像羽构目标物体31）结构或深僮信总.深度感知视觉线索可分为ocu1.arcues和Bin。CUIarCUeS（XdI视差）,目前立体视觉3D可以通过单目视觉、双目视觉、多目视觉、光场3D成像（电子复服或阵列相机）实现.1 .单目视觉成像单目视觉深度感知税索的常有：透视、焦距差异、多视觉成像、图蔑、fi1.1.影、运动觇差等，在机器人视觉里还Ur以用爱像1.以及其他ShaZrrUmXIo等方法实现。2 .双目视觉成像双目视觉深度感知视觉线索疔：眼陷的收敛位置和双目视差.在机潴视觉里利用两个相机从两个视点对同个目标场景获取两个视点图像再计算两个视点图像中同名点的税差获得目标场景的3D深度信息.典型的双目立体视觉计算过程包含下面四个步骤:图像畸变矫正、立体图像对校正、图像配准和三角法理投影视差图计先如下图.图12双目立体祝党系统与计算过程示意图"Fig.12Schematicdiagramofbinocu1.arstereovisionsystemandca1.cu1.ationProCeSJ”"3 .多目视觉成像也称把视点立体成像，用单个或多个相机从多个视点获取同个目标场景的多帕图像，重构目标场景的三维信息。其基本原理如下图所示。ff1.13多视点成像总本原理Eig.13Princip1.cof11u1.trviewinagingc"*3实视点立体成像主要用于下列几种场景:1使用多个相机从不同视点，获取同一个目标场景多幅图像，然后基于特征的立体通构等算法求取场景深度和空间结构信息.2)从运动恢笑形状(SM)的技术.使用同-相机在其内参数不变的条件下.从不同视点获取多帕图像,重构目标场景的三维信息.该技术常用于根踪目标场景中大出的控制戊，连续恢配场景的3D结构信息、相机的姿态和位置，4 .光场成像光场3D成像的原理与传统CCD和CHOS相机成像原理在结构原理上有所差异，传统相机成像是先我穿过境头在后续的成像平面上直接成像，一般是2D图像，光场相机成像是