航空产品制造中常常需要将工件上的一些特定位置、曲线特征、操作说明等标示在工件/模具表面，以便指示操作者在规定的位置或范围进行特定的操作。如在模具上分层铺放碳纤维复合材料预浸布，需要在模具上精确标示出当前铺层的三维边缘轮廓曲线，从而指引工人实现准确的碳布铺放[1]；在骨架或者蒙皮类零部件上进行人工制孔和铆接[2]，这就需要在相应的制孔位置进行标示。对于此类问题，传统的处理方法是预先制作工艺模板或者预先在工件实物上进行划线等，这些方法不仅成本高，而且生产准备周期长、劳动效率相对低下。
近年来，三维数字化定位标示技术成为一个研究热点，得到了越来越多的应用。该项技术通过光线投射装置向需要标示的三维工件表面的待标示点投射可视光，从而实现作业位置或者作业区域的精确标示。三维数字化定位标示系统可以起到数字模板和数字划线的作用，相比于实物模板和在实物工件上划线具有适应性强、简便快捷的显著技术优势。三维数字化定位标示技术可以分为两大类。一类是基于激光点扫描的三维标示技术[3–7]，该技术在完成工件坐标系与激光扫描投影系统坐标系对齐的基础上，通过控制两片振镜对激光束的高速偏转实现一个激光点在被标示物体表面指定路径上的高速运动，人眼在视觉暂留效应下会观察到激光点运动路径所形成的标示曲线；该技术可以对工件/模具上相对较大区域内的曲线轮廓进行定位标示，但当需要标示的曲线条数较多或者路径较长时，由于激光偏转速度的限制，会造成人眼观察到的标示轮廓曲线出现明显闪烁，这种方法也不适用于较多符号和文字组成的操作说明，以及测量误差云图等内容在工件表面的定位标示。另一类三维数字化定位标示技术是直接利用面阵投影仪，在待标示对象表面投射图像，基于现场的工件坐标定位和三维逆成像理论，使得三维工件表面上的待标示信息可以完整精确地投影到相应位置。由于该项技术采用面阵投影，大量的标示信息可以同时定位投影到三维表面，因此无须扫描，不会产生闪烁现象。除了可以标示曲面上的曲线轮廓以外，面阵投影标示技术也适合在工件表面特定位置标示图形、图像、文字和符号等信息，适用范围更加广泛。目前基于面阵投影的三维定位标示技术的研究报道相对较少。Liu 等[8]借助激光跟踪仪等外部测量设备，实现面阵投影系统与工件的找正，在此基础上进行三维标示信息的定位投影。由于需要外部测量设备的参与，整个方法的坐标转换链路较长，应用过程相对烦琐。
三维定位标示技术的关键之一是找到待标示三维信息在投影系统坐标系下的坐标，而投影装置作为一种信息输出手段，其本身不具备信息采集的能力，更不能单独进行空间定位，因此需要配合测量手段才能在工作现场便捷高效地完成被标示工件的定位和三维投影标示任务。为此，本文提出了一种基于结构光场辅助的面阵定位投影标示技术，通过系统标定参数、坐标找正关系、三维逆投影成像模型和三维数模上预先定义的标示信息，现场自动生成相应的标示信息投影图像并通过HDMI（High definition multimedia interface）接口传递给面阵投影仪，实现标示信息在三维工件实物上的精确定位标示。由于在结构光场的辅助下，可以方便地实现相机–投影仪内外参数的精确标定，并现场对工件表面进行三维点云的快速测量，因而无须其他第三方测量设备即可实现被投影工件的现场快速找正，从而有效缩短定位投影标示工作中的坐标转换链路，大大提升现场工作效率。
1 方法概述
本文构建的i-Guider 三维定位标示系统主要由一个工业相机、一套DLP（Digital light processing）投影装置、一个同步控制器、一块平面标定板及一套计算机软件系统组成，如图1 所示。工业相机和投影装置的工作参数 （内参数）及相对位置关系 （外参数）在系统工作前进行精确标定，标定后系统的所有内、外参数在工作过程中不发生改变。整个系统由计算机软件控制，同步控制器接收系统软件的指令，实现对投影装置投影和工业相机拍摄的时序控制。投影装置可以在系统软件控制下向工件表面投射内置的一组固定模式的结构光图像，同时也负责投射由HDMI 接口现场接收的标示信息图像到工件表面。工业相机在接收到同步控制器的触发信号后进行图像的采集。
图1 i-Guider 系统硬件结构示意图
Fig.1 Schematic configuration of i-Guider system
i-Guider 一体化系统的工作流程如图2 所示。在系统开始工作之前首先要进行系统标定，获得工业相机和投影装置的内、外参数。进行定位标示工作时，将工件置于相机和投影装置的共同工作空间中，i-Guider 系统控制投影装置向工件表面投射内置的正弦相移条纹结构光图像，工业相机同步拍摄经工件表面调制的结构光图像，经系统对图像各点绝对相位的解码后，获得投影装置坐标系下工件表面稠密的三维点云坐标数据。通过工件三维外形数模与三维点云数据的配准，系统直接将工件坐标系下的三维标示信息转换到投影装置坐标系下。进一步根据三维逆投影成像模型，现场自动获得三维操作引导信息的定位标示投影图像，并通过HDMI接口发送给投影装置，实现在现场工件实物上的标示输出。i-Guider 系统用一套简洁的硬件平台，完全不需要激光跟踪仪等其他设备参与，即可方便地进行三维测量、工件找正和操作引导信息的三维定位投影标示。
图2 i-Guider 系统工作流程图
Fig.2 Workflow of i-Guider system
2 系统关键技术
i-Guider 系统的关键技术主要包括系统建模与标定、结构光三维测量、工件配准找正，以及基于逆投影的定位标示图像生成。
2.1 系统建模与标定
i-Guider 系统中工业相机、投影装置及三维点之间的空间关系如图3 所示，其中Ow–XwYwZw 表示世界坐标系；Oc–XcYcZc 表示相机坐标系；Op–XpYpZp 表示投影装置坐标系；Rcp 和tcp 分别表示从相机坐标系到投影坐标系之间的刚体变换中的旋转矩阵和平移向量。
图3 系统组件空间关系示意图
Fig.3 Spatial relationship diagram of system components
相机通过光学镜头将世界坐标系中的点Xw 投影到CCD 成像平面上，即点xc。DLP 投影装置中的数字微镜芯片（Digital micromirror devices，DMD）相当于相机的CCD 或者CMOS 芯片构成的图像平面，投影装置的工作模型可以看成是相机成像过程的逆过程[9]，即从投影仪光学中心Op 出发经过投影平面上像点xp 的光线投射到世界坐标系中的一点Xw 上。因此，相机和投影装置均可用式 （1）的针孔模型来表达，即
式中，
为相机（或投影装置）图像平面上像点的齐次坐标形式；
为世界坐标系中的点Xw 的齐次坐标形式；s为任意非0 比例因子；R 和t 分别是从世界坐标系到相机（或投影装置）坐标系的旋转矩阵和平移向量；K 是针孔模型参数矩阵。
式中，fx、fy 为相机（或投影装置）水平和垂直方向上的归一化焦距；cx、cy 为相机 （或投影装置）主点的偏移坐标。
考虑到光学镜头的非线性畸变效应，空间点Xw 对应的实际成像点不在理想的成像点x（u，v）的位置，而是移动到xd（ud，vd），具体可表示为
式中，r 为图像像素点到镜头光心的距离半径，r2 = u2 + v2；d = [k1 k2 p1 p2]T； k1、k2 为相机 （或投影装置）镜头的一、二阶径向畸变系数；p1、p2 为一、二阶切向畸变系数[10]。
系统中需要事先标定的系统参数包括相机的针孔模型参数矩阵Kc、投影装置的针孔模型参数矩阵Kp、相机的非线性畸变系数dc、投影装置的非线性畸变系数dp，以及相机坐标系到投影装置坐标系之间的刚体变换参数Rcp、tcp。当投影装置和相机的内参数及二者之间的坐标变换关系经标定过程确定以后，投影图像平面上成像点xp 和相机图像平面上成像点xc 的匹配关系，可以通过三角法[11]唯一确定空间点Xw 在系统坐标系下的三维坐标。
相机标定的方法已较为成熟，本文采用文献[12]中的平面二维标定法对相机进行标定，获取含非线性畸变系数在内的相机成像参数。图4（a）所示为相机及投影装置标定所用的具有11×9 个大小圆形靶点的平面标定板。
图4 系统标定图像
Fig.4 Images for system calibration
对于投影仪的标定，由于无法像相机那样进行图像拍摄，因此难点在于如何确定投影图像平面的像素点与其对应空间三维点位置之间的关系。为此，本文借助结构光投射，建立投影仪平面上成像点与平面标定板上圆形靶点中心之间的匹配关系[9]。首先将标定板置于系统的工作范围内，相机拍摄一张无结构光条纹投影的标定板原始图像，如图4（a）所示；然后，保持标定板不动，由投影装置依次向标定板上投射内置在投影装置中的水平和竖直方向上两组各三频四相的正弦条纹结构光图像，同时由相机获取标定板在各幅结构光投射下的对应图像序列，如图4（b）和（c）所示。变换标定板的位姿，重复上述拍摄过程，得到6 组以上的标定图像。
对于每个标定板位姿下拍摄的一系列标定图像，首先从原始标定板图像中提取标定板的各圆形靶点中心在相机像平面的像素坐标xc（u，v），然后使用多频相移外差法[13]对标定板的结构光图像序列进行绝对相位展开，求解出xc（u，v）处的水平绝对相位和竖直绝对相位值 （φx，φy）。该点的相位在投影图像平面上对应的像素点xp（u'，v'）位置可以由式 （4）获得。
式中，f 为结构光图像对应的频率。由于标定板上圆心坐标是通过图像中提取出的椭圆边缘像素拟合获得，因此 （u，v）通常是亚像素，而结构光解码时只能获取x 和y 方向整像素的相位值。为此，本文采用双线性插值的方式获取 （u，v）对应的 （φx，φy）。得到标定板上各圆形靶点中心分别在相机图像平面和在投影图像平面上的二维坐标后，根据6 组以上的标定图像，采用文献[11]的三步标定法完成系统所有参数的标定。
2.2 结构光三维测量
在进行三维标示前，i-Guider 系统首先利用自身的三维测量能力进行工件表面的点云测量，从而实现工件位姿找正。工件外形测量时，由投影装置依次向工件表面投射内置在投影装置中的水平和竖直方向上两组各三频四相的正弦条纹结构光图像，同时由相机获取工件表面在各幅结构光投射下的对应图像序列。同样利用由多频外差法对相机拍摄的工件表面的结构光图像序列进行绝对相位展开。基于水平和竖直两个方向的绝对相位，找到相机图像平面上任意像点xc 在投影图像平面上的匹配像点xp，从而获得相机和投影装置之间稠密的像点匹配。为保证重建精度，匹配点对xc 和xp 是含有畸变的，在三维重建前，需要利用系统标定得到的畸变系数 （式 （3））对匹配点对进行去畸变处理，从而得到符合针孔模型成像的匹配点对
。
为方便实现后续的定位投影标示，i-Guider 系统将投影装置坐标系作为基准坐标系。因此，对于工件表面经结构光调制的图像序列，有
式中，sc 和sp 分别为相机和投影仪的比例系数；E3 表示3×3 的单位矩阵；Kc 和Kp 分别表示相机和投影装置的针孔模型内参数矩阵。i-Guider 系统经标定后，Kc、Kp及Rcp、tcp 均为已知量。对于相机图像平面和投影图像平面上的任意匹配点对
，求解式 （5）即可得到在投影仪坐标系下的工件表面相应三维点坐标X。
2.3 工件配准找正
工件的设计数模，以及工件表面上的曲线轮廓、操作说明等需要标示的三维信息一般是在工件设计坐标系下（工件为标示对象，用下标“o”代表）。工件配准找正的目的是确定工件坐标系与i-Guider 系统坐标系 （即投影装置坐标系）之间的变换关系Rop 和top，获得工件表面特定位置处待标示的三维信息在i-Guider 系统坐标系下的坐标，以便后续生成三维标示信息的投影图像。
综上所述，对于系统测到的工件表面三维点云数据，其坐标是在投影装置坐标系下。i-Guider 系统采用由粗到精的配准策略，将工件坐标系下三维信息变换到投影装置坐标系下。多种粗配准方法[14]都可以用来确定Rop 和top 的初值。为适应不同工件类型，增强系统适用性，i-Guider 系统也支持利用软件界面交互分别选取工件数模上和工件测量点云中大致对应的N 个数据点对
（n=1，2，…，N，N≥3）进行Rop 和top 初值的计算。Xpn 表示在测量点云中选取的第n 个点 （Xpn 在投影装置坐标系下）；Xon 表示在工件数模上选取的第n个点。对应的数据点对
之间满足
定义质心
以及去质心坐标
，并定义3×3 矩阵
。对W 进行SVD 分解，得
式中，Σ为奇异值组成的对角矩阵。当W 满秩，优化问题
的解为
解得Rop 值后可代入式 （6）中解得top。
由于交互选取的大致匹配点对
（n=1，2，…，N）并不精确，因此上文方法计算得到的Rop和top 通常也不够精确。为此，利用计算得到的Rop和top，用式 （9）对工件数模实施变换，使数模与测量到的点云大致对齐，然后利用迭代最近点 （Iterative closest point，ICP）算法[15]对Rop和top 进行迭代 ，直至达到迭代收敛精度或最大的迭代次数，获得最终优解。
2.4 基于逆投影的标示图像生成
基于面阵投影的定位标示，其根本任务是需要确定三维数模上需要标示的目标点在投影图像中的位置，以及该图像位置处投影图像的RGB 值。
对于数模上预先规划的三维标示信息XI（含工件表面上的三维曲线、文字、符号等），本文综合利用系统标定中获得的投影仪逆成像参数及工件配准找正变换矩阵，结合式（8）将XI 虚拟逆成像到投影图像平面，即
式中，
是数模设计坐标系下的三维标示信息的齐次坐标形式
是
在投影图像平面上的像的齐次坐标形式；T 是利用矩阵
对
进行刚体变换的操作；P 是由投影装置的针孔成像矩阵Kp 进行透视投影及根据投影畸变系数进行逆成像畸变模拟的复合操作；V 是投影图像平面视口裁剪操作，即投影在投影图像平面实际定义的有效范围以外的三维标示信息将被裁剪，不会被投影标示。
对于预先规划的三维标示信息XI，根据式（9）计算得到
后，将投影图像平面上
经过的像素赋予人眼便于辨识的高亮颜色 （如绿色、黄色等），其他像素赋予黑色即可得到对应于
的定位标示投影图像。
3 试验验证
本文自主研发的i-Guider 原型系统，采用DLP 投影装置分辨率为1920×1080，相机分辨率为2048×2048，相机镜头焦距17 mm。系统采用VS2017 编写，该软件安装在一台个人笔记本电脑上，电脑处理器为i57300HQ，操作系统为64 位的Windows 10，内存为8 G。为验证本文方法及i-Guider 原型系统的效果，以一个机身蒙皮试验件为对象，开展了蒙皮定位钻铆三维标示试验，图5 是试验现场。
图5 i-Guider 原型系统试验现场
Fig.5 Experiment scene of i-Guider prototype system
3.1 系统参数标定试验
在蒙皮钻铆定位标示试验开始之前，需要对系统进行标定。将标定板放置于系统视场内10 个不同的位置，获取了10 组标定图像，根据本文2.1 节中阐述的相关原理和方法对系统进行标定，首先标定出相机和投影装置参数初值，再利用非线性优化方法对标定的系统参数初值进行优化，最终获得i-Guider 系统的内、外参数。
为了对标定结果进行精度评价，本文利用重投影误差作为评价标准，标定参数越精确，则相应的重投影误差越小。在系统标定完成后，分别利用标定出的参数将标定板10 个位置下各圆形靶点中心三维坐标重新投影到相机和投影仪图像平面上，得到所有靶点在相机和投影仪图像平面上的理论计算坐标，计算理论坐标值与靶心在相机和投影仪图像平面的实际坐标值之间的差值。试验误差分布如图6 所示，相机和投影装置标定结果的平均重投影误差分别为0.105 像素和0.115 像素，相机和投影仪的均方根误差分别为0.144 像素和0.134 像素，达到了良好的标定精度。
图6 标定靶点的重投影误差分布
Fig.6 Re-projection error distribution of the calibration target points
3.2 系统定位标示精度验证试验
为了对该系统的整体标示精度进行验证，本文利用平面标定板、相机和投影装置设计了平面靶圆中心定位投影试验，如图7 所示。为了实现各靶圆中心的定位投影，在靶板上布置3 个视觉特征点，并以这3 个视觉特征点建立标示对象坐标系，借助德国GOM 公司开发的TRITOP®系统测量出靶板上靶心坐标并变换到标示对象坐标系中，作为待投影的标示信息 （待标示的三维数模信息）。放置好待标示的靶板与相机和投影装置的相对位置后，利用i-Guider 系统对靶板上布置的3 个视觉特征点进行坐标测量，进而完成待标示对象的坐标系配准找正。然后利用投影装置已标定好的内参和畸变系数将待标示的靶心坐标向投影仪图像平面做三维逆成像，计算出这些靶心点在投影装置像平面上的像素坐标，从而生成基于逆投影的标示图像。用投影装置将生成的标示图像直接投射到靶板平面上，得到靶圆中心定位投影结果，如图7（a）所示。
图7 平面靶圆中心定位投影试验
Fig.7 Positioned projection of target circles
由于系统标定存在误差，各靶心在图像中提取的坐标
和投影装置投射的光点图像坐标
（n=1，2，3，…，99）通常不完全重合，存在一定的距离ε，如图7（b）所示。拍摄的靶板图像经畸变校正后，通过计算图像上两者之间的像素距离评价系统定位投影标示精度。记第n 个投影光点中心和实际靶心的像素坐标误差为εn= [εnx，εny]，其中
。试验结果误差分布如图8 所示。所有投影点和标定板实际圆形靶心距离的均方根误差
0.385 pixel。该标定板位置下，每个像素所代表的实际尺寸约为0.63 mm，因此统计定位标示的均方根误差为0.63×0.385 ≈0.24 mm。
图8 投影光心与实际圆形靶点中心的像素坐标误差分布
Fig.8 Error distribution of pixel coordinates between actual centers and projected centers
3.3 蒙皮定位钻铆三维标示试验
为了能更好地将该技术与工程实际相结合，本文设计了蒙皮定位钻铆三维标示试验。该试验所用的机身蒙皮试验件数模如图9（a）所示，该数模上已事先将需加工的铆钉孔位标示信息进行了设计。利用i-Guider系统具备的三维测量功能测量出蒙皮对应的三维点云并与蒙皮数模进行空间找正，如图9（b）所示。找正完成后建立起数模设计坐标系和三维定位标示系统坐标系之间的变换关系。然后i-Guider 系统利用2.4 节的方法现场产生标示图像，并投影到机身蒙皮试验件上，实现铆钉作业的三维定位标示，标示结果如图9（c）所示。三维定位标示的结果主要是给操作者的现场工作提供引导和指示，试验结果表明，铆接孔位置标示精确，加工提示信息在零件表面上标示清晰，很好地呈现了图9（a）中的三维标示状态。
图9 飞机蒙皮铆接孔定位标示试验
Fig.9 Positioned indication experiment on aircraft skin riveting
4 结论
针对航空制造领域中在实际工件表面上特定区域进行人工作业的准确度低、生产准备周期长的问题，提出一种基于结构光辅助的面阵投影定位标示技术。通过在DLP 投影装置中固化系列结构光场图像，可以现场实现工件表面的三维点云测量和工件坐标系快速找正，大大简化了三维定位投影的坐标转换链路。根据三维逆投影成像关系和三维数模上预先定义的标示信息，现场自动生成相应的定位标示信息投影图像，并通过HDMI 接口传递给面阵投影装置，可以实现标示信息在三维工件实物上的定位标示，定位标示精度误差在0.25 mm 以内，能够满足工业定位投影标示精度要求。研发的i-Guider 系统无须其他外部设备参与，即可在工作现场进行工件三维外形测量、工件配准找正以及检测误差和各种标示信息在工件上的直观显示，大大提升现场工作效率。
[1] 杨乃宾, 章怡宁. 复合材料飞机结构设计[M]. 北京: 航空工业出版社, 2002.
YANG Naibin, ZHANG Yining. Structural design of composite aircraft[M]. Beijing: Aviation Industry Press, 2002.
[2] 王巍, 王诚鑫, 周天一. 自动钻铆技术在机身壁板上的应用[J]. 航空制造技术, 2018, 61(22): 43–48.
WANG Wei, WANG Chengxin, ZHOU Tianyi. Application of automatic drilling riveting technology on fuselage panel[J]. Aeronautical Manufacturing Technology, 2018, 61(22): 43–48.
[3] 涂俊超, 张丽艳. 视觉辅助下的激光振镜模型参数分步标定[J]. 仪器仪表学报, 2019, 40(1): 236–247.
TU Junchao, ZHANG Liyan. Two-step parameter calibration for galvanometric laser scanners using binocular stereo vision[J]. Chinese Journal of Scientific Instrument, 2019, 40(1): 236–247.
[4] TU J C, WANG M G, ZHANG L Y. A shortcut to marking 3D target curves on curved surface via a galvanometric laser scanner[J].Chinese Journal of Aeronautics, 2019, 32(6): 1555–1563.
[5] TU J C, ZHANG L Y. Effective data-driven calibration for a galvanometric laser scanning system using binocular stereo vision[J].Sensors, 2018, 18(2): 197.
[6] 孙佳慧. 数字定位激光3D 投影技术研究[D]. 长春: 长春理工大学, 2014.
SUN Jiahui. Research on digital positioning laser 3D projection technology[D]. Changchun: Changchun University of Science and Technology, 2014.
[7] 郭丽丽. 智能激光3D 投影系统及空间定位精度标定技术研究[D]. 长春: 长春理工大学, 2018.
GUO Lili. Research on intelligent laser 3D projection system and spatial positioning accuracy calibration technology[D]. Changchun:Changchun University of Science and Technology, 2018.
[8] LIU M A, YANG S R, WANG Z Y, et al. Generic precise augmented reality guiding system and its calibration method based on 3D virtual model[J]. Optics Express, 2016, 24(11): 12026.
[9] ZHANG S, HUANG P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.
[10] WEI G Q, MA S D. Implicit and explicit camera calibration:Theory and experiments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(5): 469–480.
[11] 张辉, 张丽艳, 陈江, 等. 基于平面模板自由拍摄的双目立体测量系统的现场标定[J]. 航空学报, 2007, 28(3): 695–701.
ZHANG Hui, ZHANG Liyan, CHEN Jiang, et al. Field calibration of binocular stereo system based on planar template and free snapping[J].Acta Aeronautica et Astronautica Sinica, 2007, 28(3): 695–701.
[12] ZHANG Z. A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11): 1330–1334.
[13] WANG Y J, ZHANG S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation[J]. Optics Express, 2011,19(6): 5149.
[14] LEACH R. Advances in Optical Form and Coordinate Metrology[M]. Bristol: IOP Publishing Ltd, 2020.
[15] BESL P J, MCKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1992, 14(2): 239–256.