飞机蒙皮作为飞机外部结构的关键组成部分，其质量直接影响着飞行器的安全性能。由于受到外部环境、机械应力、材料老化等因素的影响，蒙皮可能会产生划痕、腐蚀、裂纹、涂层脱落等多种缺陷，如果未能及时检测并修复，可能会导致严重的结构故障和安全隐患[1]。
传统的人工目视检测方法[2]简单方便，但效率低下，且受限于检测人员的主观经验，容易漏检微小缺陷。超声波检测方法[3–5]精度高，覆盖范围广，能够识别微小缺陷，但检测速度慢。红外热成像检测[6–7]速度快，实时性高，但受环境温度等因素影响较大，且对小缺陷不敏感。
近年来，随着人工智能技术的进步，利用计算机视觉和深度学习的检测技术在蒙皮缺陷检测中得到广泛的应用[8–10]。视觉检测方法效率高，成本低，并能处理多种类型缺陷。张研等[2]针对当前人工目视检测效率低、人工经验敏感等问题，提出了一种利用局部对比度进行显著性分析的缺陷检测模型，与传统检测算法相比，该模型能更为清晰地提取出缺陷特征。Ding 等[11]提出了一种基于改进Mask Scoring R-CNN 的像素级缺陷检测方法，通过设计一种减少缺陷区域周围信息干扰的新分类器头，可以获取更精确的缺陷特征信息，有效提高了飞机蒙皮缺陷分割和检测精度。张德银等[12]提出了一种基于融合神经网络的飞机蒙皮缺陷检测方法，将Xception 架构融入Backbone网络中，并在Neck 和Output 中分别加入全局上下文注意力 （GCA） 和交叉部分注意力 （CPA） 机制，实现了对飞机蒙皮缺陷的高精度和智能化检测。沈晓海等[13]针对表面缺陷检测中样本稀疏导致检测精度较低的问题，基于Faster R-CNN 提出了一个包括缺陷分类、缺陷检测和区域分割的自适应多任务损失的网络模型，解决了训练收敛不均衡的问题，提升了检测的准确率和效率。刘琼等[14]基于YOLO 框架，在Backbone 部分融入卷积块注意力模块，在Neck 部分使用滑动窗口转换块 （STB），并且利用平均结构相似性 （MSSIM）方法剔除缺陷数据集中的相似性图像，有效提升了缺陷检测性能。
上述算法的研究与应用为飞机蒙皮缺陷检测开辟了新的途径，在一定程度上提升了蒙皮缺陷检测的性能，实现了较好的检测效果。但由于蒙皮划痕、凹陷等缺陷的尺寸通常较小且缺陷区域不够明显，现有常规的目标检测算法经常出现漏检的情况。为了优化飞机蒙皮小尺寸缺陷的检测性能，本文提出了一种基于改进EfficientDet[15]的飞机蒙皮缺陷检测方法，并在自建的蒙皮缺陷数据集上进行了试验评估与结果分析。
1 飞机蒙皮缺陷检测方法
EfficientDet[15]是谷歌团队提出的一种高效且强大的目标检测模型，其架构如图1 所示。EfficientDet 使用EfficientNet[16]作为主干网络，通过神经架构搜索 （NAS） 优化，能够在保持高精度的前提下显著减少参数量和计算量。EfficientDet 引入了一种高效特征融合模块BiFPN，旨在处理多尺度特征的融合和传递，提升多尺度检测的能力。同时，EfficientDet提出了复合缩放策略，在同一模型框架中，通过综合调整网络的深度、宽度和输入分辨率，在不同计算资源约束下实现最优的性能表现。根据计算资源消耗、检测准确率及场景需求等多方面因素的权衡，在EfficientDet-D0 架构的基础上，对主干网络、特征融合网络和损失函数进行优化，提出了一个适合小尺寸飞机蒙皮缺陷检测的改进算法。
图1 EfficientDet 网络架构
Fig.1 Architecture of EfficientDet network
1.1 主干网络的优化
EfficientDet-D0 的主干网络EfficientNet-B0 是具有高效性的轻量化网络架构，通过复合缩放策略，优化网络的深度、宽度和分辨率，实现了计算量的大幅减少和精度的稳定提升。EfficientNet-B0 作为主干网络在目标检测任务中能够提供优异的性能[16]，其网络架构及各层的组成如表1 所示。阶段1 由3×3 卷积层、批归一化 （BN）和Swish 激活函数组成，主要用于对输入的原始图像进行初步的特征提取和降采样。阶段2～8 由一系列的MBConv 模块组成，对图像进行逐步的降采样、特征提取和特征图扩展。每个阶段，都需要根据输入的特征图进行不同深度的处理，以提取更加复杂和抽象的特征信息。阶段9 由1×1 卷积层、BN、Swish 激活函数、平均池化层和全连接 （FC）层组成。
表1 EfficientNet-B0 网络架构
Table 1 Architecture of EfficientNet-B0 network
阶段 操作 分辨率 通道数 层数Stage 1 3×3 Conv，BN，Swish 224×224 32 1 Stage 2 MBConv1，3×3 112×112 16 1 Stage 3 MBConv6，3×3 112×112 24 2 Stage 4 MBConv6，5×5 56×56 40 2 Stage 5 MBConv6，3×3 28×28 80 3 Stage 6 MBConv6，5×5 14×14 112 3 Stage 7 MBConv6，5×5 14×14 192 4 Stage 8 MBConv6，3×3 7×7 320 1 Stage 9 1×1 Conv，BN，Swish & Pooling & FC 7×7 1280 1
由 表1 可 以 看 出，MBConv 是EfficientNet-B0 的核心卷积模块，主要包括3 个部分：用于增加通道数的1×1 扩展卷积、提取空间信息的深度可分离卷积DWConv、用于降低维度的1×1 压缩卷积。DWConv 对输入的每一个通道分别进行卷积操作，不进行通道之间的卷积，大幅减少了计算量和参数量；残差连接使得模型在处理复杂特征时保留了输入的信息，有助于梯度信息的传递。
在采集到的飞机蒙皮图像中，缺陷目标通常较小且缺陷区域不够明显，导致这类蒙皮缺陷通常较难 被 捕 捉 到。EfficientNet 的 核 心模块MBConv 默认使用的Squeezeexcitation（SE）[17]注意力机制虽然能够对通道维度进行权重调整，但未能充分利用图像中的空间信息，对小目标区域的捕捉能力有限。本文设计通过在MBConv 中引入通道和空间双重注意力机制CBAM[18]来更加精细地提取特征，使模型更好地关注缺陷目标区域的信息。引入CBAM 的MBConv 模块如图2 所示。
图2 引入CBAM 的MBConv 模块
Fig.2 MBConv module incorporating CBAM
CBAM由通道注意力模块 （CAM）和空间注意力模块 （SAM）两部分组成，如图3 所示。CAM 对输入的特征图F∈RW×H×C 在空间维度H 和W 上分别进行全局平均池化和全局最大池化，得到两个通道描述向量AvgPool（F）和MaxPool（F），再通过共享的多层感知机 （MLP）和FC层，进一步以元素求和方式进行合并，经过Sigmoid 激活操作后，生成通道注意力权重Mc（F），将其与原始输入特征图F 按元素相乘，得到通道加权后的中间特征图F'。
图3 CBAM 及子模块的结构
Fig.3 Structure of CBAM and its submodules
SAM 在通道维度上对中间特征图F'进行最大池化和平均池化，得到两个空间描述矩阵AvgPool（F'）和MaxPool（F'），分别表示每个位置在通道上的最大和平均特征响应。对这两个矩阵进行Concat 拼接、卷积降维操作和Sigmoid 激活操作后，生成空间注意力权重Ms（F'）。对Ms（F'）与输入F'进行逐元素相乘，得到空间加权后的特征图F"。通过结合通道和空间注意力，CBAM 能够提升模型对小目标蒙皮缺陷区域的关注，增强对小目标缺陷的识别，提升模型的检测精度。
1.2 改进的双向特征金字塔
针对目标检测中的多尺度问题，近年来研究学者相继提出了FPN[19]、PANet[20]和双向特征金字塔网络（BiFPN）等跨尺度特征金字塔结构，通过特征融合的方式显著提升了模型的检测性能。在传统的FPN 中，特征层之间的权重是平衡的，对于小目标检测，这样的加权方式可能并不理想，需要强化高分辨率层的贡献，FPN 结构如图4 （a）所示。BiFPN通过引入可学习的跨尺度特征权重机制以及自上而下和自下而上的双向特征传递方式，来调整和平衡不同分辨率特征层的权重，以更好地融合不同尺度的信息，结构如图4（b）所示。在BiFPN 的基准上，进一步对其层次结构和特征融合策略进行优化调整，使其更适合飞机蒙皮小尺寸表面缺陷的检测。改进后的BiFPN如图4（c）所示。
图4 特征融合网络结构
Fig.4 Structure of feature fusion network
首先在BiFPN 的层次结构中引入额外的高分辨率特征图P2，并去掉低分辨率层P7，来获取到更多的细节特征。高分辨率层的加入可以帮助模型更精准地捕捉小尺寸目标的信息。其次，引入跨级的特征数据流，将P3、P4、P5 层的中间输出传输到P4、P5、P6 的输出，通过增加特征融合数据流，更多的高分辨率特征参与到低分辨率特征图的生成中，使得低分辨率层次上的特征更加丰富，这种改进可以使网络更充分地学习小尺度信息，进而提升对小目标的感知能力。以第5 层为例，改进的BiFPN结构中双向跨尺度特征信息的融合公式为
1.3 改进的损失函数
EfficientDet 的损失函数L 主要分为分类损失Lcls 和回归损失Lreg，分别用于处理目标的类别预测和边界框回归任务，表达式为
式中，分类损失Lcls 和边界框回归损失Lreg 分别采用Focal 损失[21]和交并比 （IoU）损失，通过对这两部分进行加权求和，形成总的损失函数以对目标检测任务进行优化。针对小尺寸蒙皮缺陷检测，通过引入尺度感知的距离IoU 损失函数，来提高模型对小目标的敏感度。考虑到小目标缺陷的尺寸较小，即使边界框稍微偏移，也会较大程度地影响预测质量，因此在IoU 损失计算边界框重叠程度的基础上，增加对边界框中心点之间距离的度量，表达式为
式中，Btrue 是目标i 的真实边界框；Bpred 是目标i 的预测边界框；d（C）是最小包围框的对角线长度；ρ（cpred，ctrue）是预测框中心点和真实框中心点之间的欧氏距离，距离越远，权重越大，促使模型快速地修正位置。同时引入基于尺度感知的损失 （Lscale-reg），根据目标的大小动态调整回归损失，使得小目标的损失权重更高。
式中，N 是目标的总数量；Ai 是目标i 的 面 积；wpred /hpred 和wtrue /htrue 分 别是预测框和真实框的宽高比；β 和γ是控制尺度感知的超参数，分别控制面积、形状差异对权重的影响。尺度感知损失函数通过结合面积、形状差异和中心点距离这些因素来调整损失的权重，引导模型更好地捕捉小目标的细节，修正位置偏差，提升小目标的检测精度。
2 试验与结果
为了评估所提缺陷检测算法的性能，设计了消融试验和对比试验来进行验证和分析。试验数据集来自4K 高清相机采集的5031 张飞机蒙皮表面缺陷，包含掉漆、划痕、凹陷等缺陷类型，并按照70∶15∶15 的比例划分为训练集 （3521 张图片）、验证集（755 张图片）和测试集 （755 张图片），具体样本分布如表2 所示。数据集中的部分小尺寸缺陷主要分布在1～5 mm 尺度。训练前，对训练集进行图像翻转、旋转等数据增强，数量扩充至原来的3 倍。本试验中的深度学习框架为PyTorch1.9.1，操作系统为Ubuntu20.04，CUDA 版本为11.2，CPU 为Intel core i7，内存为32G，显卡为NVIDIA GeForce RTX 3070。模型训练的基本参数batchsize 为16，epoch 为100，初始学习率为0.001，采用余弦退火衰减策略，超参数β1设为1.2，β2 为0.9，均通过试验调参取优获得。
表2 飞机蒙皮表面缺陷数据集的样本分布
Table 2 Sample distribution of aircraft skin surface defect dataset
类型 样本数量 总计训练集 验证集 测试集掉漆 887 186 193 1266划痕 10552 2245 2256 15053凹陷 2853 592 587 4032总计 14292 3023 3036 20351
2.1 评价指标
试验选择目标检测领域中广泛使用的评价指标，即平均精度 （AP）和平均精度均值 （mAP），来衡量模型的检测精度。AP 是用于衡量模型在特定类别上的性能指标，通过对精度–召回率曲线进行积分计算得到，表达式为
式中，P 是精度；R 是召回率；NTP 是预测正确的正例；NFP 是预测错误的正例；NFN 是预测错误的负例。mAP用于衡量模型在多类别上的整体性能，对所有类别的AP 进行平均后得到，表达式为
2.2 消融试验与分析
改进后的缺陷检测算法主要通过在主干网络EfficientDet 中引入CBAM、优化调整BiFPN 的层次结构与特征融合策略、引入尺度感知损失来优化飞机蒙皮缺陷的检测性能。为了验证所提算法的改进效果，进行了表3所示的消融试验。
表3 消融试验对比结果
Table 3 Comparison results of ablation experiments
方法 第1 组 第2 组 第3 组 第4 组 第5 组 第6 组EfficientDet-D0 √ √ √ √ √ √EfficientNet-CBAM — √ √ √ — √Modified-BiFPN——√—√√尺度感知损失 — — — √ √ √AP/%掉漆 95.23 96.26 98.21 96.73 97.61 98.69划痕 85.16 86.17 88.58 86.64 88.02 89.04凹陷 82.49 83.77 85.97 84.02 84.97 86.22 mAP/% 87.63 88.73 90.92 89.13 90.2 91.32
从表3 可以看出，对于掉漆这类中型尺寸且明显的蒙皮缺陷，各组试验的AP 均在95% 以上。EfficientDet-D0 对掉漆缺陷的检测能力强，而对划痕和凹陷这类小尺寸或者不明显的缺陷，检测能力稍弱。第2 组在主干网络中引入CBAM后，对划痕和凹陷缺陷的AP 分别上升1.01 百分点和1.28 百分点，说明CBAM 的融入提升了网络对蒙皮缺陷特征的关注和提取能力。第3 组继续优化调整BiFPN 的层次结构和特征融合策略，对划痕和凹陷的AP分别提高了2.41 百分点和2.20 百分点，说明浅层高分辨率特征图的语义特征和跨级特征数据流的相互融合有助于模型更精准地捕捉小尺寸不明显目标缺陷的信息。第4 组在第2 组基础上，引入尺度感知损失，对划痕和凹陷缺陷的AP 分别上升0.47百分点和0.25 百分点，说明尺度感知损失的引入可以使模型在学习目标特征时更加关注尺寸较小和形状差异较大的目标，但对不明显的目标如凹陷的检测能力提升不够明显。
2.3 对比试验与结果分析
为了验证所提改进算法的蒙皮缺陷检测性能，在自建缺陷数据集上，与主流的检测模型Faster R-CNN[22]、Y O L O v 4[23]、EfficientDet-D0 和YOLOv5s 进行对比试验，试验数据结果和部分图片结果分别如表4 和图5 所示。
表4 蒙皮缺陷检测对比试验结果
Table 4 Comparison experiment results of skin defect detection
参数 Faster R-CNN YOLOv4 EfficientDet-D0 YOLOv5s 本文所提算法AP/%掉漆 84.46 93.97 95.23 97.85 98.69划痕 75.41 83.23 85.16 86.21 89.04凹陷 65.07 80.86 82.49 83.76 86.22 mAP/% 74.98 86.02 87.63 89.27 91.32速度/（帧/s） 11 55 36 57 25
图5 不同算法对飞机蒙皮缺陷的检测结果
Fig.5 Detection results of different algorithms for aircraft skin defects
对比表4 和图5 的检测结果可以发现：相比其他算法，所提改进算法对小尺寸飞机蒙皮缺陷的检测精度有明显提升；Faster R-CNN 对小尺寸的划痕缺陷和不明显的凹陷缺陷的检测能力较差，漏检率较高；YOLOv4对中等尺寸蒙皮缺陷的检测性能较好，但是对小目标缺陷的检测性能不如EfficientDet-D0；所提算法通过添加注意力机制、改进多尺度特征融合和尺度感知损失，检测效果实现了进一步提升。相较于EfficientDet-D0算法，所提算法对掉漆、划痕和凹陷缺陷的AP 分别上升了3.46 百分点、3.88 百分点和3.73 百分点；相较于YOLOv5s 算法，对小尺寸的划痕缺陷和不明显的凹陷缺陷的AP 分别上升了2.83 百分点和2.46 百分点，而对较为明显的掉漆缺陷的AP 提升较小。由于改进算法引入了CBAM 和尺度感知损失，计算量有所增加，检测速度略有所下降，为25 帧/s，但也符合实时检测的要求。
3 结论
针对飞机蒙皮小尺寸缺陷检测精度优化的问题，提出一种基于改进EfficientDet 的缺陷检测算法。首先在EfficientDet 的主干网络中引入了CBAM，增强了模型对蒙皮缺陷重要特征区域的关注能力。然后对BiFPN 的融合策略和结构进行调整和改进，融入更多的高分辨率特征，进一步增强模型对小目标特征信息的捕捉能力。最后引入尺度感知损失函数，使得模型能够针对不同尺度的目标自适应调整检测精度，有效提升了小尺寸缺陷的检出率和模型的鲁棒性。试验结果表明，相比EfficientDet 和其他目标检测算法，本文所提改进算法对各类飞机蒙皮缺陷检测的mAP 均有明显的提升。本文仅针对掉漆、划痕等部分飞机蒙皮缺陷类型进行了算法研究，在下一步工作中，将会扩充优化飞机蒙皮表面缺陷数据集，增加磕碰、污渍、铆钉缺失等缺陷类型，并对算法进一步改进，提高算法的检测速度。
[1]刘芳, 夏桂锁, 温志辉, 等.飞机蒙皮缺陷检测的现状与展望[J].航空制造技术,2021, 64(23/24): 39–50.LIU Fang, XIA Guisuo, WEN Zhihui, et al.Current status and prospect of defect detection of aircraft skin[J].Aeronautical Manufacturing Technology, 2021, 64(23/24): 39–50.
[2]张研, 田军委, 刘青, 等.基于视觉显著性的飞机蒙皮缺陷检测方法[J].激光杂志,2022, 43(3): 61–64.ZHANG Yan, TIAN Junwei, LIU Qing, et al.Aircraft skin defect detection method based on visual saliency[J].Laser JournaL, 2022, 43(3):61–64.
[3]周萌萌.视觉辅助的复合材料内部缺陷超声检测方法研究[D].南京: 南京航空航天大学, 2022.ZHOU Mengmeng.Research on visual-aided ultrasonic detection method for internal defects of composite materials[D].Nanjing: Nanjing University of Aeronautics and Astronautics, 2022.
[4]WANG B Q, SHI W J, ZHAO B, et al.Ultrasonic measurement method for R-zone defects of stiffened panel under wing skin[C]//2022 16th Symposium on Piezoelectricity, Acoustic Waves,and Device Applications (SPAWDA).Piscataway,NJ: IEEE, 2022: 624–628.
[5]周雨轩, 周文彬, 李小丽, 等.飞机蒙皮缺陷自动化检测研究进展[J].航空制造技术, 2023, 66(22): 69–77.ZHOU Yuxuan, ZHOU Wenbin, LI Xiaoli, et al.Research progress in automatic detection of aircraft skin defects[J].Aeronautical Manufacturing Technology, 2023, 66(22): 69–77.
[6]张开富, 史越, 骆彬, 等.大型飞机装配中的高精度测量技术研究进展[J].激光与光电子学进展, 2023, 60(3): 0312004.ZHANG Kaifu, SHI Yue, LUO Bin, et al.Research progress of high precision measurement technology in large aircraft assembly[J].Laser &Optoelectronics Progress, 2023, 60(3): 0312004.
[7]邴皓哲, 赵健淇.基于机器视觉的飞机蒙皮表面缺陷检测方法综述[J].飞机设计,2024, 44(3): 62–65.BING Haozhe, ZHAO Jianqi.Review of aircraft skin surface defect detection methods based on machine vision[J].Aircraft Design, 2024,44(3): 62–65.
[8]MEISTER S, WERMES M A M,STÜVE J, et al.Review of image segmentation techniques for layup defect detection in the Automated Fiber Placement process[J].Journal of Intelligent Manufacturing, 2021, 32(8): 2099–2119.
[9]DONG X H, TAYLOR C J, COOTES T F.Automatic aerospace weld inspection using unsupervised local deep feature learning[J].Knowledge-Based Systems, 2021, 221: 106892.
[10]TABERNIK D, ŠELA S, SKVARČ J, et al.Segmentation-based deep-learning approach for surface-defect detection[J].Journal of Intelligent Manufacturing, 2020, 31(3): 759–776.
[11]DING M, WU B E, XU J, et al.Visual inspection of aircraft skin: Automated pixel-level defect detection by instance segmentation[J].Chinese Journal of Aeronautics, 2022, 35(10):254–264.
[12]张德银, 黄少晗, 赵志恒, 等.基于融合神经网络的飞机蒙皮缺陷检测的研究[J].成都大学学报(自然科学版), 2023, 42(4): 365–371.ZHANG Deyin, HUANG Shaohan, ZHAO Zhiheng, et al.Investigation of aircraft skin defect detection based on fusion neural network[J].Journal of Chengdu University (Natural Science Edition), 2023, 42(4): 365–371.
[13]沈晓海, 栗泽昊, 李敏, 等.基于多任务深度学习的铝材表面缺陷检测[J].激光与光电子学进展, 2020, 57(10): 101501.SHEN Xiaohai, LI Zehao, LI Min, et al.Aluminum surface-defect detection based on multitask deep learning[J].Laser & Optoelectronics Progress, 2020, 57(10): 101501.
[14]刘琼, 史诺.基于改进YOLOv5的飞机蒙皮表面缺陷检测方法[J].国外电子测量技术, 2023, 42(12): 1–7.LIU Qiong, SHI Nuo.Aircraft skin surface defect detection based on improved YOLOv5[J].Foreign Electronic Measurement Technology,2023, 42(12): 1–7.
[15]TAN M X, PANG R M, LE Q V.EfficientDet: Scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA: IEEE, 2020.
[16]TAN M X, LE Q V.EfficientNet:Rethinking model scaling for convolutional neural networks[EB/OL].(2020–09–11)[2024–05–19].https://arxiv.org/abs/1905.11946v5.
[17]HU J, SHEN L, SUN G.Squeeze-andexcitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2018: 7132–7141.
[18]WOO S, PARK J, LEE J Y, et al.CBAM: convolutional block attention module[M]//Computer Vision – ECCV 2018.Cham: Springer International Publishing, 2018: 3–19.
[19]LIN T Y, DOLLÁR P, GIRSHICK R, et al.Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway, NJ: IEEE, 2017: 936–944.
[20]LIU S, QI L, QIN H F, et al.Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2018: 8759–8768.
[21]LIN T Y, GOYAL P, GIRSHICK R, et al.Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV).Piscataway, NJ: IEEE, 2017:2999–3007.
[22]REN S Q, HE K M, GIRSHICK R,et al.Faster R-CNN: Towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149.
[23]BOCHKOVSKIY A, WANG C Y,LIAO H.YOLOv4: Optimal speed and accuracy of object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Seattle, WA: IEEE, 2020.
