管道反光表面特征提取及视觉三维测量*

杨乐淼1,周富强1,谭海曙2

(1.北京航空航天大学,北京 100191;2.佛山大学,佛山 528225)

[摘要] 视觉三维测量是管道加工检修和性能监测过程中一种重要的无损检测手段。为了使测量系统应用于管道内受限空间,保证测量精度,现有的管道视觉三维测量方法多着重于研究测量原理和传感器结构,欠缺对管道图像处理和特征提取算法的研究,且管道的金属材质导致图像中的反光问题,严重影响了特征提取准确率和管道测量精度。为了研究管道视觉三维测量中的反光表面特征提取问题,提出了一种基于动态区域分割的反光去除方法和目标环形特征中心线提取方法,根据测量系统投射光条的形态特征设计动态环形掩膜,消除了图像中的反光对特征区域分割的干扰,设计了目标环形特征中心线提取的高斯核和极值点自动选取方法,克服了特征宽度不均匀对激光中心提取的干扰。通过试验验证反光去除和中心提取方法的准确性,为管道视觉三维测量提供准确的特征坐标,实现对管道直径和同轴度的测量,测量精度大于0.1 mm。

关键词:视觉测量;管道测量;反光去除;动态区域分割;光条中心提取

管道作为一种重要的物料运输手段及走向约束设备,广泛应用于武器装备、石油勘探、天然气输送等领域。在加工和检修过程中对管道的多几何参数测量是提高设备使用寿命和工作效率的关键。相比于传统的超声波、涡流和磁场等管道探伤手段,视觉测量方法由于其灵活性强、可直观重建管道内部三维形貌的优点,逐渐成为管道三维测量中的重要手段[1]

现有的管道视觉三维测量方法根据相机数量分为单相机方法和多相机方法。单相机方法通常需要结合机械运动控制装置或反射光学装置来提供多个真实或虚拟视点,多用于管道质量评估和缺陷检测[2–4]。多相机方法具有更高的三维重建精度,而且不需要移动传感器,从而避免了机械装置和反射装置引入的误差,但是多相机方法中传感器体积较大,难以应用于管道内部受限空间[5–6]。Yang 等[7–8]提出的基于多机差动式双目视觉传感器的管道视觉三维测量方法,在利用多相机构成多双目保证测量精度的前提下,根据视场分割思想设计差动式传感器结构,实现了传感器结构的小型化。但是管道的金属材质导致图像中的反光问题严重影响了管道测量的精度,所以需要针对管道反光表面的特征提取进行进一步研究。

反光表面特征提取的关键问题是如何准确区分激光特征区域及其周围的反光区域,并在此基础上准确提取激光特征的中心坐标。激光特征区域和反光区域的区分问题本质上是图像分割问题[9]。典型的图像分割算法包括以Canny 为代表的边缘检测算法、以Otsu 为代表的阈值分割算法和区域生长分割算法[10–11]。相关学者针对不同的适用场景对图像分割算法的改进做了大量研究,如Canny 边缘检测算法结合小波去噪、截距法和人工蜂群算法对沥青路面厚度进行无损检测[12],Otsu 阈值分割算法与K-means 算法结合分割微透镜阵列图像[13],利用基于种子自动选取的区域生长分割算法分割焊缝图像[14]。这些方法针对沥青路面、微透镜阵列、焊缝等不同场景下的图像特征对典型算法做了相应的改进,缺少对管道内环形特征反光图像分割的探讨和研究,直接利用典型算法处理难以充分滤除环形激光周围的反光,造成由算法寻求的全局最优解带来的激光断裂或反光滤除不充分的问题。

现有的激光中心提取方法主要分为几何中心方法和能量中心方法[15–16]。以边缘法为代表的几何中心方法,通过激光的几何形态计算中心,可以达到像素级别的提取精度,具有运算速度快的优点[17–18]。能量中心方法通过灰度分布计算中心,具有更高的提取精度,包括极值法、灰度重心法、方向模板法、Steger 法等。极值法、灰度重心法、方向模板法是对光条横截面灰度分布特征进行计算,对于灰度分布不均匀或激光条纹曲率较大的情况提取准确性会下降[19–20]。Steger法根据Hessian 矩阵计算激光条纹法线方向上的极值点来获得亚像素中心[21],更适用于提取管道内环形激光中心,但是在光条亮度不均匀且宽度变化剧烈的情况下,选取合适的高斯核和阈值是利用Steger 法准确提取环形激光中心的关键[22–23]

为了补充管道视觉三维测量中对于反光表面特征提取的研究,消除图像中的反光对特征区域分割的干扰,克服环形激光中轴线与相机光轴非共线导致特征宽度不均匀对激光中心提取的干扰,提出基于动态区域分割的反光去除方法,根据环形光条的形态特征设计动态环形掩膜以筛选目标环形光条所在的区域;研究目标环形特征中心线提取方法,对目标环形特征中心线提取的高斯核和极值点进行自动选取,提高环形特征中心线提取的准确率,为管道视觉三维测量提供准确的特征坐标。

1 原理与方法

1.1 管道视觉三维测量系统

管道视觉三维测量系统[7]由多相机差动式双目视觉传感器[8]和特征投射装置组成,如图1 所示。Yang等[7–8]阐述了管道视觉三维测量系统中的多双目构成机理及管道测量原理。系统中的特征投射装置向管道内表面多个位置投射环形激光,提供可提取的测量特征。多相机差动式双目视觉传感器由5 个板级工业相机构成,根据多双目立体视觉原理对提取到的多个位置的特征进行三维重建和测量。测量对象为直径80~180 mm 的内部存在阶梯状直径变化的管道,此类管道相较于普通管道具有更复杂的内部结构,测量的典型几何参数为管道的直径和同轴度。

图1 管道视觉三维测量系统
Fig.1 Vision 3D measurement system of pipeline

1.2 基于动态区域分割的反光去除

管道内表面和特征投射装置的金属材质会对投射的环形激光产生反光,如图2 所示。环形激光分布在图像中央;特征投射装置反光和孔壁反光是在激光光源的照射下金属材质的反光,分别分布在环形激光的内侧与外侧,且间隔一定距离;环形光条反光是由环形激光中轴线与相机光轴非共线形成的,分布在目标环形特征周围且与环形激光形状相似,具有较高的干扰性。

图2 激光反光干扰
Fig.2 Laser reflection interference

基于动态区域分割的反光去除算法流程图如图3 所示。为了研究环形光条与反光的图像特征,提取环形光条图像的颜色特征,分离图像的RGB 通道,利用颜色直方图衡量和比较目标环形光条与反光的全局差,如图4 所示。对比图4(a) ~(c)中目标环形光条与反光的颜色通道图像,红色通道图像对干扰性最强的环形光条反光消除效果最好。图4(d)中红色直方图呈单峰形,绿色直方图和蓝色直方图呈双峰形,说明在红色通道中目标环形光条强度相对于反光强度较强,在绿色通道和蓝色通道中目标环形光条强度与反光强度差值不大。因此,提取环形光条图像的红色通道以削弱反光。

图3 基于动态区域分割的反光去除算法流程图
Fig.3 Flowchart of reflection removal algorithm based on dynamic region segmentation

图4 激光图像颜色特征
Fig.4 Color features of laser image

对通道分离的图像利用最小二乘椭圆拟合法提取图像中的椭圆,选取初始椭圆并根据其平均半轴长度设置目标环形特征尺寸筛选的动态阈值。设初始椭圆的平均半轴长度为ρ0;环形激光的缩放因子为λ,当环形激光向靠近视觉传感器方向运动时λ > 0,反之λ < 0。在随着环形激光移动采集的一组图像中,设第i 幅图像中的椭圆平均半轴长度为ρi,若ρi 满足动态阈值,即

则平均半轴长度为ρi 的椭圆为第i 幅图像中的目标环形特征。

设第i 幅图像中的目标环形特征的拟合中心为 (xr, iyr, i),根据目标环形特征的椭圆拟合参数定义环形掩膜,环形掩膜内坐标为 (xy)的点满足

式中,ω为环形掩膜的宽度。将环形掩膜作用于图像,分割目标环形特征所在区域。

1.3 目标环形特征中心线提取

在管道内表面的反光环境下,光条图像的亮度和宽度呈现不均匀分布。将目标环形特征区域按照环形特征的径向展开,绘制光条周向的归一化灰度分布图,利用归一化灰度值综合评估光条的周向亮度和宽度,如图5 所示。Steger 光条中心线提取算法具有较高的中心线提取精度,通过高斯卷积计算图像中每个像素的Hessian 矩 阵,根 据Hessian 矩 阵 最大特征值绝对值对应的特征向量确定像素点的法线方向,求解法线方向上的极值点,并根据阈值筛选得到光条中心的亚像素位置。但是在光条亮度不均匀且宽度变化剧烈的情况下,Steger 算法的提取精度依赖于高斯核和极值点阈值的选取,其中高斯核决定了图像的平滑程度,不恰当的高斯核会导致图像特征的过分模糊,从而影响光条中心线的定位准确性;极值点阈值决定了中心点位置的筛选,直接影响光条中心线的提取精度。因此,选取合适的高斯核和阈值是准确提取目标环形特征中心线的关键。目标环形特征中心线提取算法流程图如图6 所示。

图5 归一化灰度分布
Fig.5 Distribution of normalized grayscale

图6 目标环形特征中心线提取算法流程
Fig.6 Flowchart of the algorithm for extracting the centerline of the target circular feature

设图像中目标环形特征宽度的最大值为最大宽度w,目标环形特征与其邻域像素对比度的最大值为最大对比度cmax,目标环形特征与其邻域像素对比度的最小值为最小对比度cmin,则计算Hessian 矩阵采用的高斯卷积核函数均方差σ 表示为

筛选中心点位置的最大阈值τmax和最小阈值τmin,表示为

设图像中二维图像坐标为 (xy)的像素点的灰度分布函数为Ixy),则该像素点的Hessian 矩阵表示为

将像素点 (x0y0)处的Hessian矩阵的最大特征值对应的特征向量记为光条的法线方向 (nxny),则光条中心的亚像素坐标 (pxpy)表示为

式中,(tnxtny)是光条中心与亚像素的偏移量,偏移系数t 表示为

式中,一阶偏导数rxry 和二阶偏导数rxxrxyryy 表示为

若像素点 (x0y0)处的亚像素偏移量 (tnxtny)满足

则一阶导数为0 的点位于当前像素内。

在一阶导数满足判据的前提下,若二阶导数大于最大阈值τmax,则像素点 (x0y0)为光条中心点;若二阶导数小于最小阈值τmin,则像素点 (x0y0)不是光条中心点;若二阶导数介于最大阈值τmax 和最小阈值τmin 之间,则进行滞后阈值操作,即根据周围像素中心线提取结果判定 (x0y0)是否光条中心点。提取目标环形特征的所有中心点坐标后,对中心点进行最小二乘椭圆拟合,得到目标环形特征的椭圆参数方程。

2 试验与分析

2.1 测量系统搭建

针对直径为80~180 mm 的管道进行多参数测量试验,管道内部存在阶梯状直径变化,测量系统实物图及采集图像如图7 所示。主相机采用大恒VEN–830–22U3M,辅相机采用大恒VEN–134–90U3M,镜头为爱特蒙特58–205。在特征投影装置的电动导轨驱动下,环形激光器在管道中移动100 mm,每移动1 mm 图像采集装置采集一次图像。电动导轨的移动精度为0.001 mm,环形激光器的线宽为1 mm。主相机和辅相机的帧率分别为22 帧/s 和90 帧/s,激光移动速度为400~4500 Hz,数据处理时间为1.67 ms。

图7 测量系统实物
Fig.7 Physical of the measurement system

2.2 区域分割试验

将基于动态区域分割的反光去除方法的提取效果与其他常用的图像分割算法进行对比,包括Canny 边缘检测算法、Otsu 阈值分割算法、区域生长算法,分割效果如图8 所示,其中真值由人工提取获得。Canny边缘检测算法通过图像梯度计算和非极大值抑制检测图像中的边缘像素,对梯度和边缘的敏感性,使得提取到图像中灰度梯度较大的其他边缘信息,比如孔壁反光和特征投射装置反光。Otsu 阈值分割算法通过图像灰度直方图计算类间方差,来选择最佳分割阈值,着重体现图像的全局信息,所以对反光的抑制效果优于Canny 边缘检测算法,但是全局最佳阈值导致在目标环形光条微弱细小的部分出现断裂和漏检现象。区域生长算法通过判断种子点与生长点的像素相似性,将满足判据的像素点聚合为一个区域,所以对距离目标环形特征较远的反光具有较好的去除效果,但是难以去除目标环形特征周围的环形光条反光,因为环形光条反光与目标环形特征具有较高的相似性。本文提出的基于动态区域分割的反光去除方法通过图像颜色通道分离减弱反光,根据目标环形特征的形状特性设计动态椭圆掩膜提取环形区域,有效去除图像中的反光干扰。

图8 区域分割效果
Fig.8 Effect of region segmentation

采用区域分割混淆矩阵评估不同提取方法对目标环形特征和背景的分割效果,如图9 所示,其中“1”表示目标环形特征,“0”表示背景,混淆矩阵中 (1,1)和 (0,0)分别代表对目标环形特征和背景分割正确的概率,(0,1)和 (1,0)分别代表对目标和背景分割错误的概率。在不同图像中,本文提出的动态区域分割方法的正确率均为最高,错误率均为最低,说明本文提出方法对目标环形特征的分割效果最优;对背景的分割效果与其他方法相近。导致正确率和错误率略有偏差的原因是在目标和背景二分类问题中样本数量的不均衡。

图9 区域分割混淆矩阵
Fig.9 Confusion matrix of region segmentation

采用相似性指标SDCSIU 以及准确性指标ACAF 来定量评价分割效果。相似性度量SDCSIU 分别描述分割的细节信息和全局信息与真值的相似程度,表达式为

式中,NTPNFN分别为正确和错误分割的目标像素数量;NFP为错误分割的背景像素数量。

准确性指标AC 描述分割的正确率,AF 综合评估分割的查准率和查全率,表达式为

式中,NTN 为正确分割的背景像素数量;APAR 分别为分割的查准率和查全率,表达式为

不同方法对目标环形特征区域分割的定量评估结果如表1 所示。动态区域分割方法的分割结果与真值的相似性最高且准确性最好,所以动态区域分割方法可以准确提取目标环形特征所在区域,为目标环形特征中心线提供提取前提。

表1 区域分割相似性与准确性
Table 1 Similarity and accuracy of region segmentation

方法 SDC SIU AF AC Canny 边缘检测算法 0.50 0.67 0.67 0.85 Otsu 阈值分割算法 0.43 0.60 0.60 0.75区域生长算法 0.49 0.66 0.66 0.80动态区域分割方法 0.62 0.76 0.76 0.94

2.3 中心线提取试验

针对目标环形特征区域分割结果提取光条中心线,并将提取效果与常用的中心线提取算法对比,包括边缘法、极值法、灰度重心法、方向模板法、Steger 法,提取效果如图10 所示。边缘法提取的是光条的内边缘或外边缘,因此在中心线提取的任务中存在较大误差。极值法是根据光条横截面的灰度梯度求解灰度极大值点,将灰度极大值点作为光条中心点,对于灰度分布接近理想高斯分布的区域提取效果较好,但对于噪声干扰较大导致灰度分布不均匀的区域会出现遗漏和错误提取的现象。灰度重心法是对光条横截面灰度分布特征进行逐行计算,将每行灰度重心点作为光条中心点,因此在一定程度上减小了极值法中光条灰度分布不均匀导致的遗漏和误差。方向模板法是在灰度重心法的基础上加入可变方向模板以提高算法对不同方向光条的提取精度,但是受限于有限的模板方向,在模板方向交接处会产生光条中心偏移的现象。Steger 法利用Hessian 矩阵求解光条法线上的极值点,将极值点亚像素位置作为光条中心点,这种方法具有较高的提取精度但是对高斯核选取的依赖性较强。目标环形特征中心线提取方法根据光条对比度和宽度对Steger 法中的高斯核和阈值进行自动选取,提高了Steger 法对目标环形特征的中心线提取效果,实现了较为完整和准确的中心线提取。

图10 中心提取效果
Fig.10 Effect of center extraction

为了定量评估中心线提取的准确性,对目标环形特征进行最小二乘椭圆拟合并对椭圆参数进行人工调整,计算提取到的中心点坐标与椭圆轮廓点坐标距离的绝对误差,如图11 所示。计算所有中心点坐标与椭圆轮廓点坐标距离的平均误差、均方根误差、标准差、最大误差以及提取到的中心点数,如表2 所示。目标环形特征中心线提取方法提取的中心线误差最小、准确率最高,且提取点数较多,为后续中心线的三维重建提供更加准确、充分的数据。边缘法提取到的提取点数较多,是因为边缘法将光条的内边缘和外边缘都作为提取到的光条中心线,导致提取误差较大。

表2 中心提取准确性
Table 2 Accuracy of center extraction

方法 平均误差/pixel均方根误差/pixel标准差/pixel最大误差/pixel 提取点数边缘法 2.21 2.66 1.49 6.17 7099极值法 1.26 1.47 0.76 3.65 741灰度重心法 1.01 1.30 0.83 3.25 1741方向模板法 1.52 1.84 1.03 3.86 1831 Steger 法 1.37 1.64 0.91 3.34 1136环形中心提取法 0.80 0.98 0.57 2.68 2502

图11 中心提取误差
Fig.11 Center extraction error

2.4 三维测量试验

管道1~4 的三维点云的重建结果如图12 所示。其中,整体点云为对管道的整体点云进行三维重建的结果,空间椭圆拟合为对100 个不同位置的环形点云进行空间椭圆拟合的结果,空间圆柱拟合为对整体点云进行空间圆柱拟合的结果,管道1、2、3、4 的两端直径分别为79.90 mm和99.96 mm、97.26 mm 和110.86 mm、145.34 mm 和160.30 mm、150.25 mm和180.16 mm,管道的直径真值为游标卡尺多人多次测量取平均值。图12 中重建管道的整体点云存在边缘不平坦的现象,是由于测量系统中的多相机差动式双目视觉传感器在进行点云全局统一过程中的坐标系转换,导致不同坐标系下重建的环形激光衔接处产生误差,该衔接误差是由多相机之间的转换关系标定误差造成的,所以在后续处理中利用最小二乘空间拟合算法对点云进行拟合和平滑处理。由空间椭圆拟合结果计算管道内表面参数,如表3所示,管道直径的平均测量精度为0.053 mm,同轴度平均测量精度为0.065 mm。

表3 管道三维测量结果
Table 3 3D measurement results of pipeline

管道 直径误差/mm 同轴度/mm 中心坐标/mm 轴线方向/(°)1– 0.031 0.067 (– 3.000,– 2.049,480.158) (– 0.106,– 0.168,0.987)2 0.061 0.046 (– 2.051,– 1.189,479.900) (– 0.022,0.071,0.997)3– 0.061 0.071 (– 4.242,– 0.157,479.500) (– 0.099,0.116,0.988)4 0.058 0.076 (– 2.194,– 0.724,481.060) (– 0.068,0.035,0.998)

图12 管道三维点云重建结果
Fig.12 Pipeline 3D point cloud reconstruction results

将本文提出的管道测量方法与其他视觉测量方法对比,对不同直径管道进行测量的结果及误差如表4所示。单相机结合平面镜的管道测量方法[4]在复杂光路成像过程中引入难以补偿的光程差,导致经过不同光路反射成像的图像区域清晰度不同,特征提取准确率下降,测量误差较大。多相机管道测量方法[5–6]利用多个相机构成双目立体视觉,保证了较高的测量精度,但是多相机导致视觉传感器体积较大,限制了多相机方法对更小口径管道的测量。本文提出的管道反光表面特征提取及视觉三维测量方法,利用多相机差动式双目视觉传感器,在保证测量精度的前提下缩小传感器体积;在图像处理环节中设计基于动态区域分割的反光去除算法和目标环形特征中心线提取算法,克服管道表面反光对中心线提取的干扰,提高特征提取准确率,从而进一步提高管道测量精度。本文提出的测量方法对管道直径的测量精度高于其他视觉测量方法。

表4 管道直径测量结果对比
Table 4 Comparison of measurement results of pipeline diameter

方法 管道直径/mm 测量误差/mm 相对误差/%文献[4] 120.000 2.670 2.225文献[5] 445.000 0.360 0.081文献[6] 351.600 0.753 0.214本文方法 79.900~180.160 – 0.061~0.061 0.034~0.076

3 结论

管道视觉三维测量中,图像反光是一个普遍存在且对测量结果存在强干扰的问题。为了消除反光对管道图像特征提取的干扰,在由多相机差动式双目视觉传感器和特征投射装置构成的测量系统的基础上,研究激光光条区域分割和中心线提取方法,提出基于动态区域分割的反光去除方法和目标环形特征中心线提取的高斯核和极值点自动选取方法,通过试验验证了反光去除和中心线提取方法的有效性和准确性,并为管道视觉三维测量提供准确的特征坐标,实现不同口径的管道三维重建和多几何参数测量。

参 考 文 献

[1]季宇航, 宋爱国.基于点线特征的通风管道建模与管内定位方法[J].仪器仪表学报, 2024, 45(2): 272–279.JI Yuhang, SONG Aiguo.Modeling and localization method for ventilation ducts based on point and line features[J].Chinese Journal of Scientific Instrument, 2024, 45(2): 272-279.

[2]郭文兴, 黄小康, 陈华斌, 等.焊缝高效精密磨抛智能技术研究进展[J].航空制造技术, 2023, 66(8): 14–25.GUO Wenxing, HUANG Xiaokang, CHEN Huabin, et al.Research progress on high-efficiency precision grinding of weld bead[J].Aeronautical Manufacturing Technology, 2023, 66(8): 14–25.

[3]CHEN Y X, WANG B, LI Q W, et al.Field-of-view-enlarged single-camera 3-D shape reconstruction[J].IEEE Transactions on Instrumentation and Measurement, 2022, 71:5009212.

[4]ZHOU F Q, CHEN X, TAN H S, et al.Optical-path-difference analysis and compensation for asymmetric binocular catadioptric vision measurement[J].Measurement, 2017, 109: 233–241.

[5]GUNATILAKE A, PIYATHILAKA L, TRAN A, et al.Stereo vision combined with laser profiling for mapping of pipeline internal defects[J].IEEE Sensors Journal, 2021, 21(10):11926–11934.

[6]SHANG Z X, SHEN Z G.Singlepass inline pipeline 3D reconstruction using depth camera array[J].Automation in Construction,2022, 138: 104231.

[7]YANG L M, ZHOU F Q, LI X S, et al.3-D vision measurement system and method for small-diameter pipeline[J].IEEE Transactions on Instrumentation and Measurement, 2024, 73:5034811.

[8]YANG L M, ZHOU F Q, ZHANG W N,et al.A novel multi-camera differential binocular vision sensor[J].Optics & Laser Technology, 2024,174: 110624.

[9]李红卫, 黄淳亮, 汪俊.基于三维激光扫描的金属基航空模线样板自动检测算法[J].航空制造技术, 2023, 66(4): 96–103.LI Hongwei, HUANG Chunliang, WANG Jun.Metal matrix aircraft lofting template automatic inspection algorithm based on 3D laser scanning[J].Aeronautical Manufacturing Technology, 2023,66(4): 96–103.

[10]张婧, 张策, 张茹, 等.图像分割述评: 基本概貌、典型算法及比较分析[J].计算机技术与发展, 2024, 34(1): 1–8.ZHANG Jing, ZHANG Ce, ZHANG Ru, et al.Review of image segmentation: Basic overview,typical algorithms and comparative analysis[J].Computer Technology and Development, 2024,34(1): 1–8.

[11]LIU W, DI H T, ZHANG Y, et al.Automatic detection and segmentation of laser stripes for industrial measurement[J].IEEE Transactions on Instrumentation and Measurement,2020, 69(7): 4507–4515.

[12]WANG L T, GU X Y, LIU Z, et al.Automatic detection of asphalt pavement thickness: A method combining GPR images and improved Canny algorithm[J].Measurement,2022, 196: 111248.

[13]WU H, LUO S J, CHEN M Y, et al.Super-resolution image restoration for microlens array imaging system[J].Optics & Laser Technology, 2024, 170: 110139.

[14]AI Y W, HAN S B, LEI C, et al.The characteristics extraction of weld seam in the laser welding of dissimilar materials by different image segmentation methods[J].Optics & Laser Technology, 2023, 167: 109740.

[15]王志永, 于宇, 王武越, 等.基于改进Steger算法流程的线激光中心提取[J].电子测量技术, 2023, 46(1): 84–89.WANG Zhiyong, YU Yu, WANG Wuyue, et al.Line laser center extraction based on improved Steger algorithm[J].Electronic Measurement Technology, 2023, 46(1): 84–89.

[16]冀振燕, 宋晓军, 付文杰, 等.激光光条中心线提取研究综述[J].测控技术, 2021,40(6): 1–8.JI Zhenyan, SONG Xiaojun, FU Wenjie,et al.Review on centerline extraction for laser stripe[J].Measurement & Control Technology,2021, 40(6): 1–8.

[17]HOU W Q, JING H C, GUO A, et al.Accurate laser centerline extraction algorithm used for 3D reconstruction of brake caliper surface[J].Optics & Laser Technology, 2023, 167: 109743.

[18]DU H, WANG H F, GUAN Y Y, et al.Extraction of structured light stripes center from non-uniform scattering surfaces fused with deep learning[J].Optics and Lasers in Engineering,2024, 177: 108129.

[19]赵新闯, 王化明, 杨雪峰, 等.基于ZYNQ的线激光轮廓传感器设计[J].机械制造与自动化, 2024, 53(2): 157–161.ZHAO Xinchuang, WANG Huaming,YANG Xuefeng, et al.Design of line laser contour sensor based on ZYNQ[J].Machine Building &Automation, 2024, 53(2): 157–161.

[20]WANG H F, WANG Y F, ZHANG J J, et al.Laser stripe center detection under the condition of uneven scattering metal surface for geometric measurement[J].IEEE Transactions on Instrumentation and Measurement, 2020, 69(5):2182–2192.

[21]STEGER C.Extracting curvilinear structures: A differential geometric approach[M]//Lecture Notes in Computer Science.Berlin,Heidelberg: Springer Berlin Heidelberg, 1996:630–641.

[22]STEGER C.An unbiased detector of curvilinear structures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20(2): 113–125.

[23]BO Q L, HOU B, MIAO Z J, et al.Laser stripe center extraction method base on Hessian matrix improved by stripe width precise calculation[J].Optics and Lasers in Engineering,2024, 172: 107896.

Reflective Surface Feature Extraction and Vision 3D Measurement of Pipeline

YANG Lemiao1, ZHOU Fuqiang1, TAN Haishu2
(1.Beihang University, Beijing 100191, China;2.Foshan University, Foshan 528225, China)

[ABSTRACT] Vision 3D measurement is an important non-destructive testing method in pipeline machining and performance monitoring.In order to apply the measurement system to the restricted space in the pipeline and ensure measurement accuracy, the existing 3D measurement methods mainly focus on the study of the measurement principle and the sensor structure, there is a lack of research on pipeline image processing and feature extraction algorithms, and the metal material of pipeline leads to the problem of reflection in the image, which seriously affects the accuracy of feature extraction and pipeline measurement.In order to study the feature extraction of reflective surfaces in vision 3D measurement of the pipeline, a method of reflection removal based on dynamic region segmentation and a method of laser center extraction are proposed.A dynamic annular mask is designed according to the morphological characteristics of the projected laser of the measurement system to eliminate the reflection interference, and an automatic selection method of Gauss kernel and extremum points is designed to overcome the interference of uneven feature width in the laser center extraction.The accuracy of the method is verified by experiments, and the characteristic coordinates are provided for the vision 3D measurement of the pipeline.The diameter and coaxiality of the pipeline are measured, and the measurement accuracy is higher than 0.1 mm.

Keywords: Vision measurement; Pipeline measurement; Reflection removal; Dynamic region segmentation;Laser center extraction

DOI: 10.16080/j.issn1671-833x.2025.05.059

引文格式杨乐淼, 周富强, 谭海曙. 管道反光表面特征提取及视觉三维测量[J]. 航空制造技术, 2025, 68(5): 59–67, 75.

YANG Lemiao, ZHOU Fuqiang, TAN Haishu. Reflective surface feature extraction and vision 3D measurement of pipeline[J].Aeronautical Manufacturing Technology, 2025, 68(5): 59–67, 75.

杨乐淼

博士研究生,研究方向为视觉精密测量、数字图像处理、深度学习。

*基金项目:国家自然科学基金 (62271148)。

通信作者:周富强,教授,博士生导师,研究方向为视觉精密测量、三维视觉传感器、图像识别。

(责编 阳光)