基于三维缺陷检测的DMD数字条纹投影光学系统设计

张建民 龙佳乐 许志辉 罗顺祺 范智晖 陈富健

摘 要： 利用工业相机、工业投影机和计算机开发一套基于数字条纹投影的快速三维形貌测量系统。通过自编软件实现对工业相机、工业投影机的自动控制和同步，通过标定、投影并拍摄条纹、条纹分析、相位展开和重构获取了物体表面的三维点云数据。经实验论证，该系统能快速自动获取待测物体表面三维数据，进行准确的三维重构。

关键词： 三维形貌测量； 标定； 条纹投影； 同步； 重构； 数字条纹

中图分类号： TN98?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）15?0119?05

Development of fast 3D measurement system based on digital fringe projection

ZHANG Jianmin1， LONG Jiale1， XU Zhihui1， LUO Shunqi1， FAN Zhihui2， CHEN Fujian1

（1. College of Information Engineering， Wuyi University， Jiangmen 529020， China；

2. MStar Software Development Inc.， Shenzhen 518057， China）

Abstract： A set of fast 3D shape measurement system based on digital fringe projection was developed by means of industrial camera， industrial projector and computer. The automatic control and synchronization of the industrial camera and industrial projector are realized with the self?made software. The calibration， projection， fringe photographing， fringe analysis， phase unwrapping and reconstruction are used to obtain the 3D point cloud data of the object surface. The experimental result confirms that the system can get the 3D data of the measuring object surface quickly and automatically， and perform the 3D reconstruction accurately.

Keywords： three?dimensional shape measurement； calibration； fringe projection； synchronization； reconstruction； digital fringe

0 引 言

随着科学技术的发展和人们生产生活水平的不断提高，仅仅得到三维世界中物体的二维信息已远远不能满足需求，作为非接触式三维测量技术的典型代表，基于数字条纹投影的三维形貌测量越来越受到关注[1?8]。该类系统由一个投影机、一个照相机和一个参考平面构成，先设计一组数字条纹图像通过投影机先后投射到参考平面和待测物体表面，并用照相机拍摄下来。由于参考平面表面形貌没有任何起伏，所以相机拍摄到的经参考平面直接反射的是没有任何形变的条纹，称為参考条纹。但经待测物体表面反射的条纹发生了形变，显然这种变形条纹携带了物体表面形貌的三维信息，基于数字条纹投影的三维形貌测量就是通过对这种变形条纹和参考条纹的对比分析提取出物体表面的三维形貌信息的。

上述传统的三维形貌测量系统存在可操作性差，对硬件设备的位置约束过强，且需要应用参考平面等问题，于是文献[9]提出一种新的系统模型，利用该模型通过标定、投影条纹图的设计与投影，相位计算、相位展开四步，最终结合标定参数即可求得待测物体表面每个像素点的三维坐标，实现立体重构[10?12]。其中快速三维形貌测量系统开发的关键是如何控制相机和投影机采集待测物体的三维数据以及实现两者信号采集的同步。

1 理论模型

从二维图像获取三维物体信息，需要根据计算机视觉原理建立二维图像与三维世界之间的关系。二维图像的单位为像素，而三维世界的物体长度为模拟量，因此，首先需要确定二维数字图像与二维物理图像之间的关系，然后确定二维物理图像与三维世界的关系。

以相机为例，二维数字图像与二维物理图像之间的关系[13]如图1所示。

图1中，[O1?uc?vc]为图像坐标系，以图像的左上角第一个像素点为坐标原点，图像的上边沿为[uc]轴，左边沿为[vc]轴。[O1c?xc?yc]为图像的物理坐标系，[O1c（uo，vo）]为光心点，设1个像素[uc]方向对应的物理长度为[dx]，[vc]方向对应的物理长度为[dy]，则像素坐标系与图像物理坐标系存在式（1）所示关系。

然后需要确定二维物理图像与三维世界的关系，如图2所示。图2中，坐标[Oc?Xc?Yc?Zc]为相机坐标系，坐标[O1c?xc?yc]为图像的物理坐标系，是一个三维的坐标系。透镜光心[Oc]到图像中心点[O1c]的距离为相机的焦距，设为f。有三个维度的相机坐标系中的点[P（Xc，Yc，Zc） ]在只有两个维度的图像物理坐标系中成像，形成点[PO（xc，yc）]。由成像原理可得[△OcLP]与[△OcO1cPo]相似，则有[XcZc=-xcf，YcZc=-ycf]，结合式（1）得到式（2）：

式中：[λc]=[Zc]，[αc=-fdx]，[βc=-fdy]，[uoc]=[uo]，[voc]=[vo]。式（2）确定了图像坐标系与相机坐标系之间的关系，即二维数字图像与三维世界的关系[14]。对于投影机也有投影机图像坐标系与投影机坐标系，并存在类似式（2）的关系。

在三维形貌测量中，待测物体表面的点可以用相机坐标系的坐标表示，也可以用投影机坐标系的坐标表示。为了实现坐标系的统一，需要选定一个世界坐标系，并用其坐标表示待测物体表面的点。相机坐标系、投影机坐标系和世界坐标系都是三维坐标系，如图3所示，它们存在旋转和平移的关系[15?17]。

图3中，坐标系[O1?uc?vc]为CCD矩阵坐标系，即相机的图像坐标系。坐标系[O2?up?vp]为DMD矩阵坐标系，即投影的图像坐标系。坐标系[Oc?Xc?Yc?Zc]为相机坐标系，该坐标系以相机镜头光学中心为原点，平行相机CCD矩阵左边沿过点[Oc]所在直线为[Xc]轴，平行相机CCD矩阵上边沿过点[Oc]所在直线为[Yc]轴，相机镜头法线所在直线为[Zc]轴。同理，坐标系[Op?Xp?Yp?Zp]为投影机坐标系，该坐标系以投影机镜头光学中心为原点，平行投影机矩阵左边沿过点[Op]所在直线为[Xp]轴，平行投影机DMD矩阵左边沿过点[Op]所在直线为[Yp]轴，相机镜头法线所在直线为[Zp]轴。[P（Xw，Yw，Zw）]是待测物体所在世界坐标系坐标。由式（2）和相机坐标系与世界坐标系的关系可得：

在式（3）中，等式右边的第一个矩阵为相机的内参数矩阵，等式右边的第二个矩阵为世界坐标系到相机坐标系的旋转平移矩阵，即外参数矩阵。同理，投影机也存在与工业相机一样的坐标关系：

式（3）中的相机内外参数矩阵和式（4）中的投影机的内外参数矩阵可通过系统标定来确定。首先设计红蓝棋盘格的标定板，通过分别投影单色光和黑白图片并拍摄，然后利用相机Matlab工具箱进行相机标定，接着将相机拍摄到的图片转换为投影机“拍摄”的图片，进行投影机的标定，最终确定相机的内外参数矩阵和投影机的内外参数矩阵[18]。

式（3）和式（4）中等式的左邊[uc]和[vc]表示图像坐标上的点，[up]表示投影平面上的某一横向直线，[up]可通过条纹分析技术和相位展开技术从变形条纹中解得，因此由式（3）和式（4）即可求出待测物体表面的三维坐标[（Xw，Yw，Zw）]，从而完成重构，实现三维测量。

2 系统设计

根据上述数学模型，进行测量系统的硬件设计和软件设计。在硬件设计上，通过控制工业投影机投影和工业相机拍照实现三维数据的采集；在软件设计上，通过对硬件设备的自动控制和调用相关的三维重构算法实现重构。

2.1 硬件设计

本系统的硬件模型即工业相机，工业投影机和计算机之间的相互连接如图4所示，计算机通过网线与工业相机连接，通过USB线和视频传输线与工业投影机连接。工业投影机与工业相机通过外部触发双绞线连接，能实现两者的通信，即工业投影机每投影出一幅图片输出一个外部触发信号，触发工业相机采集。图5为本系统的实物图，其中右侧为工业相机，左侧为工业投影机。

本系统采用的工业相机型号为Basler acA1280?60gc，其拥有GigE接口和外部触发接口，1 280×1 024像素（60 f/s），支持外部触发采集和内部触发采集。该相机内部包括以太网控制器、微控制器、FPGA、图像缓冲器、I/O寄存器和图像传感器等，结构示意图如图6所示。当工业相机从Pin2接收到单帧采集的控制信号时，FPGA根据由微控制器预先设定的曝光时间控制传感器进行曝光，传感器采集到的图像数据先保存到图像缓冲器中，再经过以太网控制器传输到计算机，这样就实现了图像数据的获得与传输。其中对工业相机曝光时间、图像增益等参数设置也通过以太网和微控制器实现。

本系统采用的工业投影机型号为DLP LightCrafter4500，其内部结构如图7所示。该投影机拥有许多外部接口，常常用于三维形貌测量系统中，而本系统主要应用的接口是USB接口和外部触发接口。在图7中，计算机通过UART接口发送控制数据，发送图像投影信号，设置投影机的投影模式等。投影图像数据传输过程是将预先设计好的条纹图通过投影机的UART接口经DLPC350保存到FLASH中。在投影图像时，首先DLPC350从FLASH中加载所需要投影的图像到其内存中，微镜阵列模块根据接收到图像数据，控制每个像素所对应微镜的开关频率。投影原理是DLPC350通过控制LED驱动红绿蓝灯的电流实现LED亮度的控制，LED灯光透过微镜阵列投影成像。

投影与拍摄能实现同步是因为投影机每投影一幅图像的同时，DLPC350使触发器TRIG1_OUT_CON输出一个信号1，该信号通过外部触发双绞线送给工业相机的Pin2，Pin2引脚接收到该上升沿时触发相机采集一幅图片。正是由于投影和拍摄的同步使得该系统的测量速度较传统的通过估算投影时间设置相机曝光时间的系统加快不少。

2.2 软件设计

软件设计的目的是实现工业相机、投影机的自动控制和相关重构算法的调用。其中工业投影机的控制可通过官方提供的LightCrafter4500_v1.2.exe软件实现投影的曝光时间和投影外部触发信号的输出，控制界面如图8所示。

工业相机的控制可通过调用图9所示的SDK库实现初始化，触发模式控制和拍摄与保存等功能。为了方便用户进行系统标定和三维重构，需要使用MFC编程，编写系统标定界面和点云数据采集界面以实现投影和拍照（即采集）的自动化。交互界面如图10和图11所示。

在图11中，点击“投影条纹”或“外部触发采集”按钮后实现投影条纹图和采集变形条纹图，投影和采集完成后通过点击“重构立体数据”按钮后，系统软件调用条纹分析算法和相位展开算法结合标定参数计算出待测物体三维数据，最终会在系统目录下生成“result.txt”文件，该文件包含每个像素点的三维坐标，可利用第三方Geomagic Studio软件打开后直观地看到三维重构的立体视图，并获取待测物体表面的三维数据。

3 实验与分析

首先设计两组波长为23和47的光强在垂直方向（y方向上）呈正弦规律变化的条纹图片，投影到一个玩具模型表面，通过照相机采集到的变形条纹如图12a）和图12b）所示。对变形条纹用六步相移的条纹分析技术处理得到的包裹相位图如图12c），图12d）所示。根据首次提出的基于波长选择的双波长条纹相位展开算法可从包裹相位中正确地恢复出绝对相位，如图12e）和图12f）所示。

结合系统的标定参数可求得待测物体表面每个像素点的三维坐标，利用Geomagic Studio对测量结果进行显示，最终得到的三维重构立体视圖如图13所示。其中图13a）是待测物体的实物图，图13b）～图13e）分别为该物体重构后不同角度的三维视图。结果显示该玩具模型得到了准确重构，证明了该系统的有效性。

4 结 论

本文完成了一套基于数字条纹投影的三维相貌测量系统的开发，利用工业相机和工业投影机搭建三维测量系统，利用软件编程实现工业相机和投影机的控制，并实现了投影和拍摄的同步，达到了快速测量的目的。该三维形貌测量系统的算法核心是条纹分析技术和相位展开技术，本系统所采用的条纹分析技术是通用的相移形貌测量法[18]，采用的相位展开技术是自主提出的基于波长选择的多波长相位展开算法[19?20]。该快速测量系统的开发，将推动三维形貌测量在生产生活中的应用。目前正在进一步研究多面重构结果的拼合，以达到更好的立体重构效果。

注：本文通讯作者为龙佳乐。

参考文献

[1] 李中伟.基于数字光栅投影的结构光三维测量技术与系统研究[D].武汉：华中科技大学，2009.

LI Z W. Research on structured light 3D measurement technology and system based on digital fringe grating projection [D]. Wuhan： Huazhong University of Science and Technology， 2009.

[2] CHEN K， XI J， YU Y， et al. Three?dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns [J]. Applied optics， 2013， 52（30）： 7360?7366.

[3] DU G， ZHANG C， ZHOU C， et al. Iterative two?step temporal phase?unwrapping applied to high sensitivity three?dimensional profilometry [J]. Optics and lasers in engineering， 2016， 79： 22?28.

[4] GUAN G， HASSEBROOK LG， LAU D L. Composite structured light pattern for three?dimensional video [J]. Optics express， 2003， 11（5）： 406?416.

[5] FENG S， CHEN Q， ZUO C. Graphics processing unitassisted real?time three?dimensional measurement using speckle?embedded fringe [J]. Applied optics， 2015， 54（22）： 6865?6873.

[6] JIANG C， JIA S， DONG J， et al. Multi?frequency color?marked fringe projection profilometry for fast 3D shape measurement of complex objects [J]. Optics express， 2015， 23（19）： 24152?24162.

[7] XU Y， JIA S， LUO X， et al. Multi?frequency projected fringe profilometry for measuring objects with large depth discontinuities [J]. Optics communications， 2013， 288： 27?30.

[8] GARCIA?ISAIS C A， OCHOA N A. One shot profilometry using phase partitions [J]. Optics and lasers in engineering， 2015， 68： 111?120.

[9] ZHANG S， HUANG P. Novel method for structured light system calibration [J]. Optics engineering， 2006， 45（8）： 8360?8368.

[10] 龙佳乐，张建民，范智晖.双波长条纹投影三维形貌测量的实现[J].光电子技术，2015，35（4）：258?262.

LONG J L， ZHANG J M， FAN Z H. Implement of three dimensional topography measurement with double wavelength fringe projection [J]. Optoelectronic technology， 2015， 35（4）： 258?262.

[11] SERVIN M， PADILLA M， GARNICA G， et al. Profilometry of three?dimensional discontinuous solids by combining two?steps temporal phase unwrapping， co?phased profilometry and phase?shifting interferometry [J]. Optics and lasers in enginee?ring， 2016， 87： 75?82.

[12] 刘星明，蔡铁，王辉静，等.基于相位恢复的三维可视化应用研究[J].计算机科学，2016， 43（z2）：256?258.

LIU X M， CAI T， WANG H J， et al. Research on application of 3D visualization based on phase recovery [J]. Computer science， 2016， 43（S2）： 256?258.

[13] 钱垚，童立靖，刘晶晶，等.一种基于工业相机的距离测量系统[J].计算机时代，2011（11）：28?31.

QIAN Y， TONG L J， LIU J J， et al. An industrial camera?based distance measuring system [J]. Computer era， 2011（11）： 28?31.

[14] 张成艳.基于双目视觉的织物三维数字化技术研究[D].西安：陕西科技大学，2014.

ZHANG C Y. Research on 3D digital technology of fabric based on binocular vision [D]. Xian： Shaanxi University of Science and Technology， 2014.

[15] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[16] ZHANG W， CHEN Z， ZHANG R， et al. An absolute phase to world coordinates method for the defocusing structured light shape measurement system [J]. Optik?international journal for light and electron optics， 2014， 125（22）： 6819?6825.

[17] GAO W， WANG L， HU Z. Flexible method for structured light system calibration [J]. Optical engineering， 2008， 47（8）： 602?612

[18] ZHANG S. Digital multiple wavelength phase shifting algorithm [J]. Proceedings of SPIE， 2009， 7432： 1?11.

[19] LONG J L， XI J T， ZHU M， et al. Absolute phase map reco?very of two fringe patterns with flexible selection of fringe wavelengths [J]. Applied opticts， 2014， 53（9）： 1794?1801.

[20] LONG J L， XI J T， ZHANG J M， et al. Recovery of absolute phases for the fringe patterns of three selected wavelengths with improved anti?error capability [J]. Journal of modern optics， 2016， 63（17）： 1695?1705.