现代飞机是由大量零部件装配而成的，零件之间的主要连接方式为铆接或螺栓连接，因此需要在零件上制出大量装配孔。一架大型飞机的装配孔数量多达上百万个，装配孔的制造精度 （主要为孔位精度与法矢精度）会显著影响连接部位的疲劳强度，进而影响飞机机体的结构安全。当法矢倾斜达到2°时，紧固螺栓的疲劳寿命下降约47%；法矢倾斜达到5°时，疲劳寿命降低约95%[1]，因此必须准确检测装配孔的制造精度。常规接触式探头在检测飞机零件上的大量小直径装配孔时，难以满足检测效率要求，同时存在探头碰撞孔壁的风险。随着机器视觉技术的快速发展，以其为代表的非接触式测量方法在测量领域得到了广泛引用[2]，研究人员在孔特征的视觉检测方面开展了大量工作。
在孔位检测方面，吴俊毅等[3]提出了改进霍夫梯度圆的管板孔中心位置确定方法，郝博等[4]设计了飞机铆接孔圆度误差评定方法，贾国邦等[5]综合多种像素处理方法得到微小孔直径，但是以上研究中设计的测量装置无法实现在机检测；勾江洋等[6]设计了一套在机测孔装置，但是提出的图像算法不能实现复材零件装配孔的图像处理；何流等[7]结合机器视觉和深度学习实现孔位测量，但是缺乏对系统标定的详细论述。在法矢检测方面，文献[8–10]分别基于激光位移传感器开展了装配孔法矢或制孔区域法矢的检测技术研究，上述研究使用的激光位移传感器也存在体积较大、透镜易受污染、成本高的问题。同时，现有技术方案没有同时具备孔位和法矢的检测功能。
针对上述问题，本文研制了一套集成孔位和法矢检测功能的视觉在机测孔系统，自主设计了视觉测孔装置、系统标定方法和图像处理算法，最后通过试验样件对本文技术方案进行了应用验证。
1 视觉测孔装置与测孔运动学建模
1.1 视觉测孔装置及测孔原理
视觉测孔装置的内部结构与实物如图1 所示，它将工业相机、远心镜头、激光器和光源固定在基座上，再通过基座的标准刀柄结构夹持在机床主轴上，按照预先规划的测孔路径采集装配孔与激光点的图像。装置选用远心镜头DTCM111–26–AL（视清科技），放大倍率在±1.6 mm 景深范围维持不变，获得小畸变的清晰图像；工业相机选用ME2P–2621–4GC–P（大恒图像），分辨率U×V = 5120 px×5120 px，图像中每个像素的等效物理长度ξ =3.5 μm；在镜头周围均布4 个PGL–VI–EA11591 点激光发生器（CNI 公司），发射4 条光束到零件表面形成激光点。
图1 视觉测孔装置及其相关坐标系
Fig.1 Visual hole measuring device and its relevant coordinate systems
视觉测孔系统的测量原理如图2 所示。视觉测孔装置采集4 个激光点图像，经过处理后计算激光点二维平面坐标，代入激光光束直线方程计算激光点的竖坐标，再根据4 个激光点拟合出装配孔的孔口平面，该平面的法矢即为装配孔在图像坐标系中的法矢；视觉测孔装置同时采集装配孔图像，经过处理后计算装配孔的二维平面坐标，代入孔口平面方程计算装配孔的竖坐标，从而获得在图像坐标系中完整的三维坐标；最后经过空间坐标变换得到装配孔在测量坐标系中的孔位与法矢。
图2 视觉测孔系统的测量原理
Fig.2 Measuring principle of visual hole measuring system
图3 激光点图像处理步骤
Fig.3 Processing steps for laser spot image
1.2 测孔运动学建模
参照图1（a），测孔过程涉及的必要坐标系定义如下。
（1）测量坐标系OM：与工件固联，且坐标轴分别平行于机床坐标系对应的坐标轴。
（2）主轴坐标系OT：原点位于主轴端面，Z 轴与主轴轴线重合，其初始状态下的X/Y 轴与机床坐标系的X/Y 坐标轴方向一致。
（3）相机坐标系OC：XY 平面位于镜头物方平面，Z 轴与镜头的轴线重合，X 轴沿着图像像素矩阵的列号增大方向，Y 轴沿着图像像素矩阵的行号减小方向，单位为mm。
（4）图像坐标系OF：原点位于图像在镜头物方平面投影的左上角点，X/Y 轴分别沿着像素矩阵行号、列号增大的方向，单位是px。
令PW 表示装配孔孔位在OW 坐标系中的非齐次坐标，nW 表示装配孔法矢在OW 坐标系中的非齐次坐标；令IJ R 表示坐标系OJ 关于坐标系OI 的旋转矩阵，IJT 表示坐标系OJ 关于坐标系OI 的平移向量。
根据齐次坐标变换理论可知，pm、nm 的运动学模型可表示为
已知待测孔在OM 中的法向矢量理论值为 （im，j m，k m）T，那么机床主轴在采集图像时A/C 摆角 （θA，θC）的计算公式为
pf 是装配孔在OF 中的三维坐标（xf，yf，zf）T，该坐标位于孔口平面，采用2.2 节的孔图像处理算法获取孔的二维平面坐标 （xf，yf），代入孔口平面方程得到zf。
2 图像处理算法
2.1 激光点图像处理算法
2.2 装配孔图像处理算法
装配孔图像处理是为了从图像中准确提取孔边缘像素，进而拟合装配孔圆周。航空金属零件表面光滑，图像处理过程简单；而非金属的复材零件则呈现编织形状的表面纹理，通用算法无法提取孔周边缘。针对图4（a）所示的复材蒙皮装配孔图像，本文提出了一种专用图像处理算法，准确提取边缘像素，该算法同样也适用于金属零件。具体步骤如下。
图4 装配孔图像处理算法
Fig.4 Image processing algorithm for mounting hole
（1）将图4（a）转换为灰度图，如图4（b）所示，其像素灰度矩阵记作F（m，n），其中m，n 分别表示像素的行、列坐标。
（4）将装配孔灰度图中与前述线段重合的像素重组为图4（e）所示的图像，此时难以处理的二维孔周边缘已被转换为容易处理的一维边缘。一维边缘图像的像素灰度矩阵记作M（m，n），M（m，n） 与F（m，n）之间的关系为
（5）对于图4（e），分别从第1行像素向下搜索，那么第1 个灰度值大于阈值的像素即为装配孔的边缘像素，而所有边缘像素构成集合S1，见图4（f）中的红色点集。
（6）将S1 进行坐标逆变换重构为图4（g）所示的二维边缘像素集S2。坐标重构方法如下：在M（m，n）的每一列中均有一个像素属于S1，将第1 ～ 720 列所有边缘像素的行坐标依次排列构成一维数组Row1（ω），1≤ω≤720。将S2 中边缘像素的行坐标依次排列构成一维数组Row2（ω），将列坐标依次排列构成一维数组Col2（ω），则有
根据式 （10）可得S2 中每个边缘像素在OF 中的坐标 （Row2（ω），Col2（ω）），再运用最小二乘法拟合装配孔圆周C～1，得到装配孔在OF 中的二维平面坐标 （xf，yf）和半径R，如图4（h）所示。
3 系统标定
在机床主轴安装视觉测孔装置后，装置相对于主轴的安装位姿和激光器发射的光束均是未知量，在测量前必须准确标定。
3.1 装置位姿标定
视觉测孔装置与主轴之间的坐标关系如图5 所示，本文通过检测标准球的球心坐标实现装置的位姿标定，依据为式 （1）的变换形式。
图5 OC 与OT 之间的相对关系
Fig.5 Relative relationship between OC and OT
当已知球心在OM 中的坐标Pm，同时根据2.2 节计算球心在OF 中的坐标P f，主轴对应的MTR 和MTT 亦为已知量，可由式 （11）计算TCR 与TCT。具体方法如下。
如图6 所示，将直径为φ10 mm的标准球安装在机床工作台上，以球心为原点建立标定坐标系OB1，则球心在OB1 中的坐标始终为 （0，0，0）。
图6 位姿标定坐标系
Fig.6 Coordinate system for calibration of posture
图7 位姿标定点位分布
Fig.7 Point distribution used for calibration of posture
式 （12）是关于 （α，β，γ，δx，δy，δz）的非线性方程组，构造最小二乘目标函数为
式中，fi、gi 为非线性函数，且Φ 存在连续偏导数。式 （13）为非线性最小二乘问题，使用LM 最优化算法[12]可求解 （α，β，γ，δx，δy，δz）的收敛解。
3.2 激光光束标定
激光光束标定的目的是得到4条激光在OF 中的直线方程。本文以图3 中的I 号激光点为例叙述激光光束的标定方法。如图8 所示，将一块顶面光滑平整的标定板固定在机床工作台上，以顶面中心为原点建立标定坐标系OB2。根据远心镜头的景深范围，在OB2 中定义13 个标定平面φj（j = 1～13），具体步骤如下。
图8 激光光束标定坐标系
Fig.8 Coordinate system for calibration of laser beam
（1）平面法矢均为 （0，0，1）。
（2） φj 分 别 通 过 固 定 点 （0，0，–1.75 + 0.25j）。
设置机床主轴A/C 摆角为0°，然后控制主轴端面中心点 （与OT 原点重合）依次停靠在以下13 个标定位置： （δx，δy，–1.75 + 0.25j + δz），此时标定板的顶面恰好与标定平面重合。激光器发射的激光在标定板上形成激光点，视觉测孔装置拍摄激光点图像。根据2.1 节计算Ⅰ号激光点在OF 中的二维平面坐标 （ujf，vjf），代入φj 在OF 中的平面方程计算激光点的竖坐标wjf。需要注意的是，φj 在OB2 与OF 中的两个平面方程并不相同，φj 在OF 中的平面方程计算方法如下。
4 试验验证
4.1 图像处理算法对比试验
为了验证本文提出的装配孔图像处理算法能够准确提取金属与复材零件的孔周边缘，分别采集了4 种不同状态下的装配孔图像，如图9 所示，然后依次尝试使用现有文献中提出的3 种图像处理算法，以及本文算法完成边缘提取。
图9 4 种状态下的装配孔图像
Fig.9 Images of mounting hole in four states
图10～12 分别为“最小误差二值化联合坎尼算子”[13]、“Otsu 联合坎尼算子”[5]、“高通滤波联合坎尼算子”[14]对上述装配孔的边缘提取结果。可知，以上方法难以准确提取复材装配孔边缘，其原因在于它们无法有效滤除复材表面编制状纹理、环境光照、切削液等干扰因素形成的伪边缘，导致只能适用于图9（a）所示表面整洁的金属装配孔。
图10 “最小误差二值化联合坎尼算子”的孔周边缘提取结果
Fig.10 Results of hole edge extraction by minimum error binarization and Canny
图11 “Otsu 联合坎尼算子”的孔周边缘提取结果
Fig.11 Results of hole edge extraction by Ostu and Canny
图12 “高通滤波联合坎尼算子”的孔周边缘提取结果
Fig.12 Results of hole edge extraction by high-pass filtering and Canny
图13 是应用本文算法提取图9（a）～（d）的装配孔边缘，可见该算法对于不同状态下的装配孔均有很好的边缘提取效果，原因在于本文算法是从孔的内部区域向外搜索边缘，从而规避了零件表面干扰因素的影响。
图13 利用本文图像处理算法的孔周边缘提取结果
Fig.13 Results of hole edge extraction by the image processing algorithm designed in this paper
4.2 装配孔系在机检测试验
采用C#为视觉测孔装置开发了测量软件，控制相机采集图像，基于内置图像算法计算孔位和法矢。在试验样件上开展了装配孔在机检测试验，样件轮廓尺寸为1000 mm×400 mm×50 mm，在样件上制出了100 个φ6 装配孔。该样件具有航空零件的典型曲率，机床主轴在检测过程中的A 摆范围达到±20°，C 摆范围覆盖±180°，符合加工现场的实际测孔场景，试验现场如图14 所示。
图14 试验件在机测孔试验
Fig.14 Online hole-measurement experiment on test piece
测孔流程如图15 所示。在测孔作业之前，首先对视觉测孔装置的安装位姿进行标定，基于标定结果进一步对激光光束进行标定。然后采用如下方法完成测孔路径的规划，已知每个待测孔的理论坐标为 （x- -m，y- -m，z --m）T，理论法矢为 （im，jm，km）T，根据1.2 节可以解算机床主轴采集图像时对应的主轴坐标 （X m，Y m，Z m）T 与AC 摆角 （θA，θC）。每个待测孔按照图16 设计测量程序的结构单元，将所有待测孔的测量程序依次串联形成装配孔系的测量路径。在测孔程序的引导下，使用本装置采集装配孔和激光点的图像，联合图像处理算法与系统标定结果计算装配孔在测量坐标系下的孔位与法矢。
图15 测孔流程图
Fig.15 Flowchart of hole measurement
图16 测孔程序的结构单元
FIg.16 Structure unit of program for holes measurement
将本系统的检测结果与三坐标测量机的检测结果进行对比。本系统测量的孔位坐标与三坐标测量机之间的偏差和法矢之间的角度偏差见图17，统计数据见表1。
表1 测量结果统计数据
Table 1 Statistic data of measurement results
统计项目 孔位检测偏差/mm法矢检测偏差/（°）最大值 0.045 0.46最小值 0.018 0.13平均值 0.032 0.30标准差 0.006 0.08
图17 样件的孔位检测偏差和法矢检测偏差
Fig.17 Measurement deviation of hole position and normal vector on test piece
分析图17 和表1，视觉测孔系统对样件上装配孔的孔位检测偏差最大值为0.045 mm，平均值为0.032 mm，不确定度 （置信度95%）为0.012 mm；法矢检测偏差最大值为0.46°，平均值为0.30°，不确定度 （置信度95%）为0.16°。由此可得，本系统在检测批量装配孔时具有良好的测量精度和测量稳定性，对装配孔的孔位检测精度达到0.05 mm，法矢检测精度达到0.5°。
视觉测孔系统测量100 个装配孔总共耗时约400 s，每分钟测孔数量为15 个；三坐标测量机耗时约1000 s，测孔数量为6 个/min。视觉测孔系统的测孔效率比三坐标测量机提升1.5 倍。
5 结论
（1）研制了航空零部件装配孔的视觉测孔装置，建立了测孔运动学模型，设计了装置安装位姿、激光光束的标定方法。
（2）提出了激光点与装配孔的图像处理算法，准确计算激光点与装配孔的二维平面坐标。
（3）通过样件在机测孔试验验证了本文方法的有效性，视觉测孔系统对装配孔的孔位检测精度达到0.05 mm，法矢检测精度达到0.5°，测孔效率比三坐标测量机提升1.5 倍，每分钟测孔数量达到15 个。
[1]袁红璇.飞机结构件连接孔制造技术[J].航空制造技术, 2007, 50(1): 96–99.YUAN Hongxuan.Manufacturing technology of connecting hole in aircraft structures[J].Aeronautical Manufacturing Technology, 2007,50(1): 96–99.
[2]GAO P P, LIU F, SUN X Z, et al.Rapid non-contact visual measurement method for key dimensions of revolving workpieces[J].International Journal of Metrology and Quality Engineering, 2021, 12: 10.
[3]吴俊毅, 邱鹏程, 朱墨, 等.基于改进霍夫梯度圆的管孔中心位置确定方法[J].机械与电子, 2024, 42(1): 3–10, 15.WU Junyi, QIU Pengcheng, ZHU Mo, et al.A method for determining the center position of tube holes based on improved Hough gradient circle[J].Machinery & Electronics, 2024, 42(1):3–10, 15.
[4]郝博, 陈丹丹, 杨斌, 等.基于机器视觉的铆接孔圆度误差评定方法[J].组合机床与自动化加工技术, 2024(4): 6–9.HAO Bo, CHEN Dandan, YANG Bin, et al.Evaluation method of roundness error of riveted hole based on machine vision[J].Modular Machine Tool & Automatic Manufacturing Technique,2024(4): 6–9.
[5]贾国邦, 宋丽丽, 曹博文, 等.基于机器视觉的微小孔零件尺寸检测研究[J].工具技术, 2021, 55(7): 105–109.JIA Guobang, SONG Lili, CAO Bowen,et al.Research on dimension detection of micro hole parts based on machine vision[J].Tool Engineering, 2021, 55(7): 105–109.
[6]勾江洋, 陈雪梅, 叶南, 等.飞机零部件连接孔在机视觉检测系统开发[J].航空制造技术, 2018, 61(5): 37–43, 50.GOU Jiangyang, CHEN Xuemei, YE Nan, et al.Development of on-machine vision inspection system for connection holes on aircraft parts[J].Aeronautical Manufacturing Technology, 2018,61(5): 37–43, 50.
[7]何流, 王志共, 夏飞, 等.基于机器视觉与深度学习的孔质量检测[J].智能制造, 2023(1):52–56.HE Liu, WANG Zhigong, XIA Fei, et al.Hole quality detection based on machine vision and deep learning[J].Intelligent Manufacturing,2023(1): 52–56.
[8]毕运波, 李夏, 严伟苗, 等.面向螺旋铣制孔过程的压脚压紧力优化[J].浙江大学学报(工学版), 2016, 50(1): 102–110, 172.BI Yunbo, LI Xia, YAN Weimiao, et al.Pressure-force optimization of press-foot device for orbital drilling process[J].Journal of Zhejiang University (Engineering Science), 2016, 50(1):102–110, 172.
[9]罗群, 李欢庆, 张一帆, 等.一种适用于飞机壁板自动化制孔的法向修正技术[J].南京航空航天大学学报, 2021, 53(3): 373–380.LUO Qun, LI Huanqing, ZHANG Yifan,et al.A normal correction technology suitable for automatic drilling of aircraft panels[J].Journal of Nanjing University of Aeronautics & Astronautics,2021, 53(3): 373–380.
[10]潘国威, 陈文亮.基于多传感融合的自动钻铆孔位在线测量方法[J].南京航空航天大学学报, 2020, 52(3): 388–393.PAN Guowei, CHEN Wenliang.Online measurement method for automatic drilling and riveting based on multi-sensor fusion[J].Journal of Nanjing University of Aeronautics & Astronautics,2020, 52(3): 388–393.
[11]熊有伦, 丁汉, 刘恩沧.机器人学[M].北京: 机械工业出版社, 1993: 36–37.XIONG Youlun, DING Han, LIU Encang.Robotics[M].Beijing: China Machine Press, 1993:36–37.
[12]MORÉ J J.The levenberg-marquardt algorithm: Implementation and theory[C]//Numerical Analysis.Berlin, Heidelberg: Springer Berlin Heidelberg, 1978: 105–116.
[13]谢俊, 李玉萍, 左飞飞, 等.基于机器视觉的孔类零件尺寸在线检测[J].电子测量技术, 2021, 44(2): 93–98.XIE Jun, LI Yuping, ZUO Feifei, et al.Online dimension detection of hole parts based on machine vision[J].Electronic Measurement Technology, 2021, 44(2): 93–98.
[14]薛婷, 秦现生, 王宁, 等.面向制孔机器人的视觉检测系统设计与实现[J].机械制造, 2014, 52(7): 65–68.XUE Ting, QIN Xiansheng, WANG Ning, et al.Design and implementation of visual inspection system for drilling robot[J].Machinery, 2014,52(7): 65–68.
