测量位置点驱动的飞机蒙皮对缝结构点云分割方法

杨亚鹏1,郑 炜1,李泷杲2,梁 标2,彭 云2

(1.中航西安飞机工业集团股份有限公司,西安 710089;2.南京航空航天大学,南京 210016)

[摘要] 飞机蒙皮表面存在大量对缝结构,其质量对飞机性能、寿命和可靠性有着重要影响。目前蒙皮对缝结构点云数据处理阶段存在数据量大、数据处理效率低、难度大等问题。为提高对缝参数计算效率,提出了一种测量位置点驱动的飞机蒙皮对缝结构点云分割方法。提取蒙皮理论模型对缝结构边缘曲线特征并离散成测量位置点,由测量位置点引导空间包围盒的构建,驱动对缝点云数据实现局部分割。试验结果表明该方法针对对缝结构点云能取得良好的分割效果。

关键词:对缝结构;点云数据;测量位置点;包围盒建立;点云分割

随着数字化测量技术的飞速发展,高效的数字化对缝检测成为飞机蒙皮对缝质量检测的重要环节。对缝结构、边缘轮廓等形貌特征大量存在于飞行器表面,是评价飞行器表面平滑度的主要指标,也是飞行器气动外缘偏差检查的重要内容之一。传统人工塞片测量方式存在测量工作量大、测量精度低且不稳定等问题,无法满足新一代飞行器新材料、新工艺应用和数字化装配过程中的高精度测量与快速评定要求,与国际先进检验检测技术差距巨大,已成为测量和检验领域的技术瓶颈。

激光测量技术因其速度快、精度高、适应性强等优点成为对缝检测的主流研究方向。Kosmopoulos 等[1]构建了双目视觉测量系统,利用CCD相机接收红外反射光以计算间隙阶差。Tran 等[2]构建了多线结构光的单目视觉测量系统,将线特征数字化,进行期望计算,使用合格的图像计算间隙阶差,该系统对噪声具有较好的鲁棒性。Yi 等[3]构建了基于结构光的双目视觉测量系统,利用差分再积分的方法获取所处理图像的光条中心,降低了光线强度不足带来的影响,实现了低照度精确测量。

上述方法多为基于结构光的二维激光测量系统,在测量尺寸大、曲率小、外形不规则的飞机蒙皮对缝结构时效率较低,且容易受到线结构光与对缝夹角的影响。激光扫描仪作为一种能够快速采集高密度点云数据的测量设备,以其测量精度高、数据获取速度快的特点逐渐被用于飞机蒙皮对缝间隙阶差的检测中。但如何从规模巨大的点云数据中识别提取出对缝特征成为当前基于激光扫描仪的对缝结构检测的棘手问题。为此,陈松林等[4]采用基于视觉的光栅投影的方法测量蒙皮对缝,通过将图像与点云数据结合提取对缝处间隙阶差值。严成等[5]提出了一种基于T-scan 扫描线的三维对缝有序点云间隙阶差提取方法。张波[6]提出了对缝结构特征局部点云分割方法。然而,上述研究未能实现对对缝结构庞大点云数据的高质量、高效率分割,从而影响了后续间隙阶差参数的精确快速提取。

1 总体技术路线

为了解决飞机蒙皮对缝实测点云数据量大、计算效率低和分割不均匀的问题,本文提出了一种测量位置点驱动的飞机蒙皮对缝结构点云分割方法,以实现飞机蒙皮对缝结构间隙阶差计算所需点云数据的快速提取,如图 1所示。

图1 蒙皮对缝间隙阶差示意图
Fig.1 Schematic diagram of gap and flush between skins

(1)提取飞机蒙皮三维理论模型对缝结构边缘曲线特征,将按照一定离散规则获取的离散点集作为测量位置点,以定义对缝结构间隙阶差提取分析的位置。

(2)以该测量位置点集为指导,使用激光扫描仪对飞机蒙皮结构进行扫描测量,并通过装配工装的基准点完成实测点云数据转换与理论模型的配准对齐。

(3)以测量位置点为包围盒坐标系原点,搜索其附近的对缝结构局部点云,并根据邻域点云自身的空间分布几何性质求解包围盒坐标系的z 轴和y 轴主方向,右手定则确定x 轴主方向。进一步计算包围盒长宽高参数,共同构建完整的点云分割包围盒。

(4)依据蒙皮对缝点云与空间包围盒的位置关系进行局部分割,得到的子点云作为对缝结构间隙阶差分析的依据[7]。技术路线如图 2所示。

图2 对缝结构点云局部分割技术路线
Fig.2 Local segmentation technique of point cloud of seam structure

2 对缝测量位置点生成

蒙皮对缝特征在几何空间中的表征形式为曲线,工程应用中常采用等弦高差法、等弦长法、逼近弦长法[8]等策略对其进行数字化离散。本文综合考虑实际测量过程的需求,按指定的精度要求引入弦高差控制因子δ,采用弦长法离散曲线特征,生成对缝测量位置点。用相邻对缝测量位置点连接成的若干条直线段逼近理论曲线,使被逼近的理论曲线到直线段的弦高差小于给定的弦高差控制因子阈值δmax,离散结果如图3所示。该方法可以保证对缝测量位置点的分布和数量随曲线形状和曲率变化而变化。具体步骤如下。

图3 蒙皮对缝曲线特征离散成对缝测量位置点集
Fig.3 Skin seam curve features discreted into seam measurement position points set

(1)设定弦长初始值为l0,弦高差控制因子阈值δmax

(2)选择曲线特征的任一端点作为离散的对缝测量位置起始点P1

(3)从P1 开始,以P1为球心,l0为半径作球,球与曲线特征的新交点为下一个对缝测量位置点P2,计算直线段P1P2 与截得的弧线的弦高差值δ12

(4)若δ12δmax,则保留该点并继续下一个点离散;若δ12δmax,则说明曲线局部曲率较大,细化离散间距,将弦长变为l0/2,重新计算弦高差值,直到满足离散精度控制要求,然后将离散弦长恢复到初始值l0

(5)重复步骤(3)和(4),直到球与曲线只有一个交点,则认为离散到了曲线的另一个端点,停止离散。得到蒙皮对缝特征曲线有序的测量位置点集合,即

式中,np为蒙皮对缝测量位置点总个数。

3 基于包围盒的对缝点云局部分割

包围盒算法是一种求解离散点集最优包围空间的方法。基本思想是用体积稍大且特性简单的几何体近似地代替复杂的几何对象。最常见的包围盒算法有AABB 包围盒(Axis aligned bounding box)、包围球、方向包围盒、固定方向凸包等。其中,AABB 包围盒是包含对象且边平行于坐标轴的最小六面体,其构造比较简单,存储空间小。使用AABB 包围盒能保证分割出的局部点云具有良好的紧密性,还能保持一定的平面度,满足后续蒙皮对缝结构参数提取需求。AABB 包围盒由其在空间中的位置、姿态和大小唯一确定,包围盒坐标系的原点由飞机蒙皮对缝曲线特征测量位置点确定;xyz 坐标轴主方向通过对缝点云自身空间几何性质求解;包围盒长宽高参数由测量位置点距离以及实测点云数据性质共同明确。

3.1 基于PCA 法的z 轴主方向解算

本文根据测量位置点附近的点云法向确定包围盒坐标系z 轴主方向,采用基于局部邻域的表面拟合方法[9]获取准确的点云法向量,并利用PCA(Principal component analysis)方法对其改进。传统的局部邻域表面拟合方法是以某一离散点pi为几何中心,以半径R 划分点Pi 的局部邻域G1R 设置为曲线离散间距的一半,将局部微切平面H 的法向量记做n,点pi 到坐标系原点的欧式距离记作Di,则HnDi)的拟合约束表达为

式中,kG1 邻域内点总个数;s.t.表示约束条件。

局部邻域G1 的平面拟合可以转化为协方差矩阵M 的特征值分解问题,M 最小特征值对应的特征向量即为点P 的法向量。

式中,为局部邻域G1 点云中心。协方差矩阵M 的最小特征值所对应的特征向量即该局部邻域的法向量。该方法简单易实现,适用于对大规模散乱点云的法向量进行初始估计,但该方法应用于飞机蒙皮对缝结构点云时,由于阶差的存在,会出现表面拟合估计的G1 邻域法向与局部对缝点云的真实法向存在较大偏差的问题。如图4所示,其中左右两侧的局部邻域法向和理论法向保持一致,而在对缝结构局部邻域的法向并不能和理论法向保持一致。

图4 点云局部邻域法向估计
Fig.4 Local neighborhood normal direction estimation of point cloud

为了解决对缝结构点云法向量的估算精度,本文采用一种改进的自适应邻域选择[10]的PCA 法向估计方法:以半径RG1 划分出G1 局部邻域,对G1 邻域的点在总点云中进行近邻搜索,设G1 局部邻域集合为pi{i = 1,2,3,…,n}(n≥3),pik邻近点为pj =(xjyjzj), j =(1,2,3,…,k),由于M为正定矩阵,根据式(3)改写pi 的局部协方差矩阵M

式中,λ1λ2λ3为矩阵M 的特征值;e1e2e3为特征向量。假设λ1λ2λ3 > 0,则λ1λ2 表征相应平面特征向量方向的偏移量,λ3 表征法向的偏移量,3 个特征值反映了点云局部邻域的维度特性:当λ1 λ2λ3 时,可以认定局部邻域为线型;同理,当λ1λ2 λ3 时为平面,当λ1λ2λ3 时为三维曲面[11]

根据上述点云局部邻域的维度特性,构建了特征值的维度特征评价模型,即

式中,LλPλSλ 分别代表了局部邻域为线型、平面以及三维曲面的概率。计算G1 邻域内点pi 的协方差矩阵3个特征值,并代入式(5),当LλPλSλ的关系满足Pλ Lλ Sλ 时,保留该点法向,反之剔除。根据PCA 算法估计局部邻域G1 所有点单位的法向量并统一视点方向,对所有满足条件的法向量进行最小二乘滤波去除杂点并取中值作为包围盒坐标系z 轴主方向如图5所示,使用改进后的自适应邻域选择的PCA 算法估计对缝结构测量点附近的点云法向量能与理论法向保持较高的一致性。

图5 改进的自适应邻域选择的PCA 算法法向估计
Fig.5 Normal direction estimated by PCA algorithm based on improved adaptive neighborhood selection

3.2 边界点拟合的y 轴主方向解算

建立完整的包围盒坐标系除了确定原点和z 轴的主方向,还需要解算y 轴主方向。然而,当y 轴与对缝边缘角度较大时,点云宽度大于边缘宽度,增大了局部点云在对缝处的包含范围,单侧点云分布不均匀,导致该局部点云提取的间隙阶差值不能代表测量位置点Pi 处间隙阶差均值,如图6(a)所示。因此点云边缘与包围盒坐标系y 轴夹角β 应尽量接近0,如图6(b)所示。

图6 y 轴主方向对点云分割效果的影响
Fig.6 Influence of the y-axis direction on the point cloud segmentation effect

为了提高y 轴主方向的解算精度,结合对缝特征具有明显间隙和阶差的特点,本文将对缝特征两侧点云进行划分,如图7(a)所示。采用映射法和Delaunay 三角化算法[12]将两侧散乱点云转换为如图7(b)所示的三角网格表达方式。三角网格可以表示为顶点、边、面的集合,即

式中,V为网格顶点的集合;E为网格边的集合;F为网格面的集合。

对三角网格点云数据依据网格边邻接三角形的个数判断其所属的类型[12],其中属于两个邻接三角形的公共网格边为内部边,属于单一三角形的独立网格边为外部边,提取三角网格外部边的两个端点作为边界点,如图7(c)所示。

图7(d)为蒙皮点云数据中所有边界特征点的提取结果,但是没有有效的标记方法和识别途径来区别测量点附近边界特征点和实测点云外边界特征点。因此本文提出一种基于圆柱域包围盒约束的边界点细分割方法:将蒙皮对缝曲线特征相邻的初始离散点间距缩减为原来的一半,每个测量点两侧的细分离散点作为圆柱域端面的两个圆心,连接的直线段作为圆柱体的中心轴线,考虑到测量和对齐误差,为了避免混淆蒙皮对缝另一侧曲线的边界点导致分割出现歧义,取圆柱面的最小包络半径 构建圆柱域包围盒。其中,gf 分别代表对缝特征在该点处的理论间隙和阶差。最终得到构建的圆柱域空间方程表达式为

图7 点云数据边界特征点提取
Fig.7 Boundary feature point extraction from point cloud data

式中,Poxoyozo)为圆柱轴线上的一点;nljik)为圆柱轴线的单位方向向量;r为圆柱半径。

通过判断圆柱域与所有边界特征点的空间位置关系来实现细分割,当边界点p 到圆柱体轴线的距离小于圆柱半径r 且处于圆柱体两端面圆所在的平面之间时,即认为点p 是属于该离散点位置的对缝边界特征点,如图 8所示。

图8 圆柱域构建与边界点云细分割
Fig.8 Cylindrical domain construction and boundary point cloud fine segmentation

实测点云经过边界点识别和圆柱域细分割步骤后最终得到归属不同对缝离散点的边界点云分割块,记做Pi)={ pjxjyjzj),j =1,2,3,…,nn≥3)},其中,i为理论离散点序号;j为局部边界点云分割块点个数。同时考虑到蒙皮对缝特征的局部曲率较小,具有一定的直线度,因此图 9 对边界点云分割块利用最小二乘法拟合重构为空间直线,具体步骤如下。

图9 边界点最小二乘法拟合空间直线
Fig.9 Fitting space line by boundary point least square method

设待拟合的空间直线的方向向量为(ABC),经过点(xiyizi),则空间直线方程可表示为

空间直线解析方程简化形式为

矩阵形式为

式中,

直线拟合点集中第i 个点满足

则有

左右乘

最后可得

用获得的参数abcd 值反求出直线方向向量作为包围盒坐标系y 轴主方向。最后根据右手定则和几何中向量积的定义,以x 轴主方向建立AABB 包围盒坐标系。

3.3 包围盒尺寸确定

子点云既要保证分割的效率和精确性,又要能充分表征局部对缝特征的几何特性。因此空间分割包围盒的构建除了要通过原点坐标P0x0y0z0)和xyz 3 个坐标轴主方向 解算包围盒的位姿外,还需要根据点云数据量大小和实际应用需求定义长度L、宽度W、高度H,以确定AABB 包围盒大小。考虑到数字化扫描设备的线间距、点间距、点分辨率等参数信息,长度L 可设为线间距的30 倍。为了避免空间包围盒在空间中产生重叠,定义缩减阈值η,计算两个细分离散点之间的欧式距离diη 之差确定包围盒的宽度W。包围盒的高度H 设为包围盒坐标系原点到空间拟合直线的距离,保证包围盒高度最小的同时又包含足够多的实测点云。因此对缝特征实测数据点pxyz)需满足条件xminxxmaxyminyymaxzminzzmax,以精确分割出属于对缝结构特征测量点附近的局部点云[13],如图10所示,其中Pmaxxmaxymaxzmax)和Pminxminyminzmin)为AABB 包围盒的两个对角顶点,满足

图10 完整AABB 包围盒分割点云
Fig.10 Full AABB bounding box segmentation point cloud

4 试验与分析

4.1 分割效果评估模型

飞机蒙皮对缝结构特征的点云分割效果主要评估参数为包围盒坐标系的z 轴及y 轴主方向。由于对缝点云具有一定的平面特性,3.1 节中图4 的左右两侧局部邻域法向作为z轴基准方向zn。对缝结构一侧边界曲线离散点的切矢方向作为y 轴基准方向yn。本试验以包围盒坐标系z 轴、y 轴的计算方向zqyq 与基准方向znyn 的夹角大小作为评价指标,夹角越小,则说明分割效果越好。znzq 的夹角α 会改变局部对缝点云大小,但对分割质量影响较小。而ynyq 的夹角β 会影响局部对缝边缘点分布宽度与包围盒宽度的比值,β 越小,分布宽度偏差越小,点云的分割质量越高。图 11为z 轴和y 轴主方向夹角分别为αβ 时包围盒分割点云效果对比图。

图11 包围盒分割点云效果对比图
Fig.11 Comparison image of bounding box segmentation point cloud effect

4.2 试验验证分析

图 12为实验室对缝结构试验件,模拟某型机舱段部分的蒙皮结构设计,首先手动提取试验件对缝边缘曲线特征,并按照检测需求设置离散间距参数为5 mm,将得到的离散点集进行编号作为测量位置点。以试验件4 个孔为定位基准孔,孔心用于构建测量坐标系以实现点云数据与理论数模的对齐。

图12 实验室对缝结构测量
Fig.12 Measurement of seam structure in laboratory

实际测量过程中,使用Leica 激光跟踪仪搭配T-scan 5 激光扫描仪采集数据,其扫描线平均扫描宽度为90 mm,扫描线间距最小为0.1 mm,点间距为0.075 mm,精度为20 μm。

将试验件保持同一缝隙大小,并重复扫描采集10 组数据,每组数据的z 轴和y 轴方向向量夹角最大偏差值如表1所示,z 轴夹角σz≤1.51°,y轴夹角σy≤2.03°。包围盒长度设置为30 mm,宽度为3 mm,高度为0.5 mm,对缝理论间隙值在2 mm 以下时所产生的点云分布范围偏差值为包围盒宽度的1.09 倍,偏差值较小,分割效果良好,且随着夹角的减小,点云的分布范围减小,分割质量提高。局部点云分割效果对比如图 13所示。

图13 分割效果对比图
Fig.13 Comparison of segmentation effects

表1 包围盒z 轴和y 轴夹角偏差
Table 1 Angle deviation between the z–axis and the y–axis of the bounding box(°)

项目测量次数12345678910 z 轴夹角1.51 1.43 1.47 1.51 1.44 1.47 1.46 1.48 1.42 1.49 y 轴夹角1.81 1.83 1.79 1.88 2.03 1.79 1.85 1.93 1.89 1.85

在测量位置点生成和对云数据对齐的基础上,采用本文提出的方法对10 个测量位置点附近的点云进行局部分割总共耗时3.4 s,而采用传统的人工方法对同一组对缝实测数据进行分割总共耗时10 min 左右。试验结果表明,测量位置点驱动的飞机蒙皮对缝结构点云分割方法在保证子点云分割质量的同时能提高分割效率。

5 结论

本文提出了一种测量位置点驱动的飞机蒙皮对缝结构点云分割方法。将蒙皮对缝曲线特征离散为一组测量点,构建与测量位置点呈一一对应关系的空间包围盒,驱动和引导庞大的飞机蒙皮点云分割成局部点云块。该方法能够快速自动分割局部对缝点云,缩减实测数据量的同时大大加快了飞机蒙皮对缝结构质量的检测速度,且不受点云质量缺陷的影响,适用于任何类型的点云数据。

通过对实验室搭建的对缝结构进行扫描测量与试验验证,结果表明,该方法的z 轴和y 轴轴向偏差分别为σz≤1.51°和σy≤2.03°,点云最大分布偏差为局部点云宽度的1.09 倍,证明该分割算法的可靠性较高,分割效果较好,经过点云分割块提取的间隙阶差能够代表对缝结构在该测量位置点的真实状态。

参考文献

[1]KOSMOPOULOS D,VARVARIGOU T.Automated inspection of gaps on the automobile production line through stereo vision and specular reflection[J].Computers in Industry,2001,46(1):49–63.

[2]TRAN T T,HA C K.Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly[J].International Journal of Control,Automation and Systems,2018,16(5):2432–2445.

[3]YI S,SUH J,HONG Y,et al.Active ranging system based on structured laser light image[C]//Proceedings of SICE Annual Conference.Taipei,2010:747–752.

[4]陈松林,夏仁波,赵吉宾,等.基于光栅投影测量的蒙皮对缝检测技术研究[J].航空制造技术,2018,61(5):32–36,50.CHEN Songlin,XIA Renbo,ZHAO Jibin,et al.Research on measurement technique of flush and gap between aircraft skins based on grating projection technology[J].Aeronautical Manufacturing Technology,2018,61(5):32–36,50.

[5]严成,黄翔,李泷杲,等.基于三维激光扫描的蒙皮对缝检测研究[J].航空制造技术,2017,60(10):70–74,78.YAN Cheng,HUANG Xiang,LI Shuanggao,et al.Research on detection of skin seam based on 3D laser scanning[J].Aeronautical Manufacturing Technology,2017,60(10):70–74,78.

[6]张波.飞机蒙皮对缝特征提取及间隙阶差分析方法[D].南京:南京航空航天大学,2020.ZHANG Bo.Methods for extracting feature and analyzing gap and flush of seam on aircraft skin[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2020.

[7]张杰.飞机蒙皮边缘特征的提取方法研究[D].南京:南京航空航天大学,2017.ZHANG Jie.Research on method for extracting edge feature of aircraft skin[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2017.

[8]刘丹丹,张树有,刘元开,等.一种基于特征点识别的曲线离散化方法[J].中国图象图形学报,2004,9(6):755–759.LIU Dandan,ZHANG Shuyou,LIU Yuankai,et al.A curve discretization method based on recognization of feature point[J].Journal of Image and Graphics,2004,9(6):755–759.

[9]HOPPE H,DEROSE T,DUCHAMP T,et al.Surface reconstruction from unorganized points[J].ACM SIGGRAPH Computer Graphics,1992,26(2):71–78.

[10]宣伟,花向红,邹进贵,等.自适应最优邻域尺寸选择的点云法向量估计方法[J].测绘科学,2019,44(10):101–108,116.XUAN Wei,HUA Xianghong,ZOU Jingui,et al.A new method of normal estimation for point cloud based on adaptive optimal neighborhoods[J].Science of Surveying and Mapping,2019,44(10):101–108,116.

[11]DEMANTKÉ J,MALLET C,DAVID N,et al.Dimensionality based scale selection in 3D lidar point clouds[J].The International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2011,38(5):97–102.

[12]AURENHAMMER F,KLEIN R,LEE D T.Voronoi diagrams and Delaunay triangulations[M].Hackensack:World Scientific,2013.

[13]李航,孙景文.最大熵阈值分割和包围盒划分的三维重建算法研究[J].机械设计与制造,2017(12):187–190,194.LI Hang,SUN Jingwen.Research on 3D reconstruction algorithm based on maximum entropy threshold segmentation and bounding box division[J].Machinery Design &Manufacture,2017(12):187–190,194.

A Point Cloud Segmentation Method for Aircraft Skin Seam Structure Driven by Measurement Position

YANG Yapeng1,ZHENG Wei1,LI Shuanggao2,LIANG Biao2,PENG Yun2
(1.AVIC Xi’an Aircraft Industry Group Company Ltd.,Xi’an 710089,China;2.Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)

[ABSTRACT] There are a lot of joint structures on the surface of aircraft skin,and their quality has an important influence on the performance,life and reliability of aircraft.At present,there exist some problems such as large amount of data,low efficiency of data processing and difficulty at the data processing stage of the point cloud data of skin seam structure.A point cloud segmentation method of aircraft skin seam structure driven by measurement position points is proposed to improve the calculation efficiency of seam parameters.The seam edge curve features of the skin theoretical model are extracted and discretized into measured position points,which guide the construction of the space bounding box and drive the local segmentation of the point cloud data.The experimental results show that this method can achieve good segmentation effect for the point cloud of the seam structure.

Keywords: Seam structure;Point cloud data;Measurement position points;Bounding box establishment;Point cloud segmentation

DOI: 10.16080/j.issn1671-833x.2023.07.014

杨亚鹏
高级工程师,主要从事复合材料结构高精度装配协调、大型飞机数字化装配和大尺寸空间高精度测量等技术研究。

引文格式:杨亚鹏,郑炜,李泷杲,等.测量位置点驱动的飞机蒙皮对缝结构点云分割方法[J].航空制造技术,2023,66(7):14–20.

YANG Yapeng,ZHENG Wei,LI Shuanggao,et al.A point cloud segmentation method for aircraft skin seam structure driven by measurement position[J].Aeronautical Manufacturing Technology,2023,66(7):14–20.

通讯作者:李泷杲,副教授,研究方向为飞机柔性装配和数字化测量技术。

(责编 雪松)