制造业是实体经济的主体,随着新一代信息技术(大数据、5G、工业物联网、边缘计算、云计算、人工智能等)的迅猛发展,制造业与信息技术进一步融合,逐步迈向智能制造[1]。在此基础上,德国“工业4.0”和美国的“工业互联”制造战略相继提出,我国也提出制造强国的发展战略,并将智能制造作为主攻方向。数字孪生(Digital twin,DT)以其卓越的仿真和预测能力在制造业得到广泛应用[2–5]。数字孪生通过创建物理实体的孪生模型,促进物理世界与信息世界的交互与融合[6],实现产品设计优化、生产过程控制、故障诊断维护等。其中,利用数字孪生技术实现预测已经成为国内外学术界和工业界的研究热点。一方面,数字孪生技术基于实时数据和模型模拟,可以提供更准确的预测,通过与实际系统的持续交互,数字孪生模型能够动态调整,反映真实世界中的变化,从而提高预测的精确性;另一方面,数字孪生技术使实时监测成为可能,可以随时收集和分析数据,以便更好地应对不断变化的环境。Zhu等[7]提出了一种数字孪生驱动的质量预测方法,该方法通过建立注意力机制的双向门控递归单元时序预测模型,实现产品质量准确预测。Liu等[8]结合数字孪生和数据驱动方法,提出了基于XGBoost算法和单次细化神经网络(Refine-ACTDD)的质量预测方法。Seid Ahmed等[9]提出了基于离线数字孪生和人工智能的产品表面质量控制方法。Zhou等[10]提出了一种数据和模型驱动的热轧钢卷缺陷预测诊断框架,构建了钢卷的数字孪生模型,实现热轧钢卷端面缺陷的实时预测和及时控制。
然而,由于个性化、定制化生产的需求,一方面,产品的复杂性造成生产工艺难以标准化和自动化,制造过程需要更多的人力投入和调整;另一方面,制造过程中出现的多元动态事件增加了制造环境的不确定性和复杂性。多元动态事件的频繁发生和多样性意味着生产计划和执行过程中需要不断应对各种挑战和变化,这会增加生产管理的复杂性和难度,导致产品生产的低效率、高成本、高能耗。针对上述问题,周尔民等[11]基于数字孪生驱动的扰动事件,建立了数据采集预测框架模型,实现了虚实车间的实时交互映射,以及车间调度过程中机器故障和紧急订单等扰动事件的预测。刘娟等[12]基于事件调度法的仿真运行逻辑,建立了数字孪生车间输入特性、样本生成、事件处理逻辑之间的关系,融合实时数据实现了基于持续瞬态仿真的车间在线预测。López[13]提出了一个基于实时事件的数字孪生系统平台,实现了数据、应用程序和服务的灵活性集成,同时实现了流程和操作的虚拟化,可以提高效率、生产力和灵活性并降低成本。Bilberg等[14]将事件驱动仿真与数字孪生相结合,提出了事件驱动式数字孪生人机协作装配方法,实现了装配过程的灵活性。Qiu等[15]提出了基于离散事件建模的数字孪生车间模型,通过强化学习,模型可以自我进化,实时调整运行策略,根据自身状态随时动态调整可控参数。Wang等[16]提出一种基于数字孪生技术的复杂产品装配车间异常事件预测方法,并基于异常事件分类和工作流程设计了预测运行机制,通过灰马尔可夫方法预测异常装配事件,为计划和调度系统提供实时信息。
综上所述,数字孪生和事件技术在产品质量预测领域的应用越来越广泛,但也存在一些局限性。(1)针对复杂的系统,建模和仿真难度大、执行周期较长。(2)针对异构且海量的数据,处理难度大,且不重要的数据浪费计算资源。考虑到数字孪生的本质是多场景事件下虚实交互控制的复杂系统,且需满足可实时性、低延迟、扩展性、灵活性等要求,这与事件驱动的特点高度契合。本文聚焦于“关键事件”,这些事件在生产过程中具有重要意义。“关键事件”是指那些对产品质量、生产效率或生产过程整体性能有重大影响的事件。与“非关键事件”相比,“关键事件”对于系统的操作和决策具有更大的影响力和紧迫性,如设备故障、工艺变化、人员缺席、紧急订单等,因此聚集关键事件可有效节约计算资源、降低成本;“非关键事件”则是一些相对较小或常规的变化和波动,对系统的影响相对较小,可以在较长的时间范围内进行处理和调整。结合数字孪生和事件驱动的方法,提出一种基于事件驱动的产品数字孪生系统框架,并从几何、物理、行为、规则4个维度构建了事件驱动的产品制造多维孪生模型;然后运用基于CNN–BiGRU–Self-attention的混合神经网络算法实现产品质量预测。一方面,该方法强调了“关键事件”交互的复杂性,不仅关注单一事件的发生,更注重不同事件之间的关系与匹配;另一方面,综合考虑了事件序列的多维特征和长期依赖性,为后续研究提供基础。最后基于DCT变速箱螺栓紧固质量预测案例,验证了该方法的有效性。
事件驱动式产品数字孪生系统框架如图1所示,由物理层、感知传输层、事件处理层、虚拟层和服务层组成。该框架旨在通过将物理空间中的关键事件作为数据代入到事件驱动的产品制造孪生模型中,进行产品质量的仿真预测,并控制物理空间中的制造过程,架构的各层详细功能描述如下。
图1 事件驱动式产品数字孪生系统框架
Fig.1 Event-driven digital twin system framework for products
(1)物理层是整个架构的起点,包含制造系统所有数据生产者的实体和模块(如设备、传感器、人员、生产过程、历史数据库),以及各种生产管理系统。在物理层,各种设备和网络连接构成了一个智能化的生态系统。
(2)感知传输层负责将数据从物理层传输到事件处理层。这一层通过传感器感知和获取数据,从而实现数字化的实时监测和控制。同时,通过提供多样化的数据传输和通信机制,将数据从物理层传输到事件处理层。高效、可靠的数据传递是数字孪生系统实时性和可靠性的重要保障,同时也为系统的灵活性和扩展性提供了支持。
(3)事件处理层由数据预处理、深度学习模型、预测结果分析和数据存储模块组成。数据预处理是从海量的数据中提取有效信息,为后续的质量预测和分析提供可靠的数据基础;深度学习模型是基于CNN–BiGRU–Self-attention构建的,产品数字孪生系统通过调用该模型,可以实现对质量的准确预测,发现质量问题;预测结果分析负责对预测结果进行深入分析和解读,为制定合理的质量控制策略提供依据;并将处理和分析后的数据存储到历史数据库中。
(4)虚拟层由多维数字孪生模型、孪生数据、数字孪生算法库和基于三者的数字孪生仿真模块构成。多维数字孪生模型从几何、物理、行为、规则4个维度全面刻画产品的制造过程,与实际产品在各维度上具有相似性,并能够模拟实际产品行为。孪生数据是指事件驱动式产品数字孪生系统在仿真模拟产品制造过程中生成的虚拟事件数据。数字孪生算法库为数字孪生提供了丰富的算法支撑。基于三者的数字孪生仿真模块实现了对制造过程的自演化、自更新的虚拟仿真。该层为产品制造过程中的质量控制提供了重要支撑。随着人工智能、大数据等技术的不断发展,虚拟层将在制造领域发挥越来越重要的作用。
(5)服务层是基于虚拟模型仿真实现数字孪生系统的状态检测、态势感知、质量管理、缺陷追溯等功能。通过这些功能的有效集成,制定定制化的质量预测控制策略,使数字孪生系统能够高效、可靠地运行。
孪生模型是对产品制造过程中物理实体的数字化映射,是构建产品数字孪生系统和实现质量预测的基础。事件驱动式产品制造孪生模型从几何、物理、行为、规则4个方面进行建模。
式中,DTVM表示产品数字孪生模型;VMGeom表示几何模型;VMPhys表示物理模型;VMBehav表示行为模型;VMRu表示规则模型。
该模型以事件驱动式产品数字孪生系统物理层实时数据为支撑,利用传感器感知捕获制造过程中的关键事件,并输入到多维孪生模型中进行仿真预测。同时更新多维孪生模型中与事件相关的部分,确保模型能够实现对制造过程中事件的实时感知和响应,从而保持模型与实际制造过程的同步。
(1)几何模型描述了产品制造过程中涉及的各个设备、工作站和物料的形状、结构和布局。这包括产品设计图纸、工作站的空间布置和物料的运输路径等。在构建几何模型时,可以利用计算机辅助设计软件或其他三维建模工具,将产品制造过程转化为数字化的三维模型。几何模型的建立为后续的仿真和分析提供了可靠的基础。
式中,Model3D表示物理实体的三维虚拟模型;SizeGemo表示几何尺寸;Locationspc表示空间位置信息;Datatech表示制造工艺信息。几何模型的更新和变化可能受到特定事件的触发(设备更换、工艺调整等),从而影响生产过程中的物理实体的几何属性。例如,某个设备发生故障需要更换,那么系统会更新几何模型以反映新的设备布局。
(2)物理模型描述了产品制造过程中涉及的设备、工具和物料的力学性能或物理特性,包括设备的运行过程Physdev、工具的加工能力Phystool、物料的物理性质Physmaterial(式(3))。物理模型可以基于物理定律和数学方程建立,以模拟产品制造过程中各个组成部分的实际物理规律。物理模型的更新会随着特定事件(设备故障、物料损坏等)的发生而变化,例如,如果设备的运行速度发生变化,那么系统会相应地调整物理模型中的设备运行速度、生产周期、设备能耗系数等参数。
(3)行为模型描述了物理空间中产品制造过程中涉及的设备、工人和物料的动态行为和交互过程。包括设备的运行状态、工人的操作行为、物料的运输流程等。行为模型是基于离散事件模拟方法建立的,以模拟和预测生产线中各个组成部分的实际运行和交互行为。但是,产品制造过程中,物理行为的描述是一个复杂的过程,部分行为难以准确模拟其变化过程。本文通过将部分复杂物理行为抽象为具体事件,提取其中的规律和规则,进而分析得出其对于质量的影响。行为模型包括复杂行为和事件,即
式中,Behavcomp表示复杂行为;E表示事件。
复杂行为往往与多个事件相关联,通过分析复杂行为的事件,可以了解该行为产生的原因,同时可以从行为事件中分析得到复杂行为。通过分析事件的时间和因果关系,实现复杂行为的表达。
式中,Ei,n表示第i个复杂行为的第n个事件;表示时间约束下,单个复杂行为内部事件的关系矩阵。
(4)规则模型是从产品制造过程中的历史数据和行为事件中提取的规律、规则或经验,规则使孪生模型具有推理、判断、评估、优化和预测的能力。产品规则模型包括从产品制造中总结的经验规律Ruexp;从历史数据和行为事件中提取的关联规则Ruasso;设备相关规则Rudev,包括设备控制规则、设备维护规则等;此外,根据具体情况,产品规则模型还应包括客观存在的规则Ruobj,如能量守恒、热力学定律、力学定律等;相关领域知识和标准RuK&S。如果事件触发了新的规则或操作规程,那么系统会更新规则模型。例如,如果紧急订单需要重新安排生产计划,那么系统会相应地更新规则模型以反映新的调度策略。
事件驱动式产品制造孪生模型可在虚拟空间中完整、准确地映射产品制造过程,实现自演化、自更新的数字孪生仿真;同时,事件驱动式设计使得模型能够实时感知和响应制造过程中的变化,保持模型与实际制造过程的同步,从而提高了模型的实时性和适应性。
“关键事件”通常发生在一系列事件中,且可能受到前后事件的影响,因此,基于事件的产品质量预测方法通常涉及事件的时间序列建模和序列中长期依赖关系的捕捉。CNN–BiGRU–Self-attention混合神经网络模型在基于事件的质量预测任务中能够充分利用多层次的特征提取、双向序列建模和动态注意力调整的优势,从而提高模型的性能和效果。图2是模型整体框架。
图2 CNN–BiGRU–Self-attention混合神经网络模型
Fig.2 CNN–BiGRU–Self-attention hybrid neural network model
1.3.1 CNN层
在产品质量预测中,CNN层主要用于从输入的数据中提取丰富的特征,本文利用一维卷积和一维最大池化进行局部特征提取和数据降维,并采用修正线性单元(Rectified linear unit,ReLU)激活函数引入非线性。
式中,t为时间步;为卷积后的输出;wc为卷积核;xt是输入序列;bc为偏置项;
为池化后的输出。
1.3.2 BiGRU层
CNN层的输出作为BiGRU层的输入,用于捕捉序列的长期依赖性,即
式中,Ft、Bt分别表示前向和后向的GRU网络隐藏状态。BiGRU层的输出Ht是通过将前向和后向隐藏状态连接起来得到的。
GRU存储单元由更新门zt、重置门rt和候选值组成,其单元结构如图3所示。
图3 GRU单元结构
Fig.3 Unit structure of GRU
具体的GRU更新步骤为
式中,ht–1为上一个时间步隐藏状态;Wz、Wr、Wh为权重矩阵;bz、br、bh为偏置项;⊙表示矩阵元素乘积;σ为Sigmoid激活函数。
GRU隐藏状态更新可表示为
1.3.3 自注意力层
自注意力机制用于加权输入序列的各个部分,以便聚焦关键信息。先计算BiGRU层处理输出的注意力权重,再利用计算得到的注意力权重矩阵at对BiGRU层的输出Ht进行加权融合,得到加权输出。
式中,w为权重向量;b为注意力加权偏置项;yt为注意力加权输出。
以双离合变速箱(Dual clutch transmission,DCT)装配过程为例,建立数字孪生装配与质量预测模型。DCT变速箱装配工艺比较复杂,装配过程具有严格的工艺规范要求,装配过程中需要的设备较多。其装配过程并不由单装配线完成,需要经过各个分装线的装配然后合装而成。
DCT变速箱装配质量预测数字孪生运行模式如图4所示,包括物理空间、虚拟空间、质量预测及三者之间的交互。物理空间即实际的生产现场,包括设备、传感器、人员等,对应所提出架构的物理层。物理空间中产生的事件数据通过感知传输层的传感器感知和采集,这些事件反映了实际生产过程中的各种情况和参数。虚拟空间,即制造过程中数字孪生系统的虚拟模型,与实际生产现场对应,对应所提出架构的虚拟层。虚拟空间通过建立物理实体的孪生模型,可以模拟和仿真实际生产过程,提供了一个理想化的环境,用于预测和优化生产质量。质量预测模块是该系统的核心部分,对应所提出架构的事件处理层和服务层,基于物理空间的事件,通过调用CNN–BiGRU–Self-attention模型实现对变速箱质量的预测。通过实时监测和分析,系统可以及时发现潜在的质量问题,并采取相应的措施进行反馈调整。交互是指物理空间、虚拟空间和质量预测模块之间实现了信息的双向交互,实时数据从物理空间传输到虚拟空间,模型的预测结果也可以反馈到实际生产现场,指导生产过程的调整和优化。
图4 DCT变速箱质量预测数字孪生系统运行模式
Fig.4 Operational model of digital twin system for DCT gearbox quality prediction
以DCT变速箱侧盖螺栓紧固质量预测为例,验证所提出方法的准确性。根据实际变速箱侧盖螺栓扭力,选择螺栓直径、螺栓长度、拧紧角度、拧紧速度、拧紧时间作为特征变量,模拟生成100组样本数据,通过标准化处理和缺失值填充后将数据整合到一个综合事件数据集中,这些数据将为后续的质量预测提供必要的信息。
(1)标准化不同特征之间的量纲差异,使得数据更易于进行比较和分析,同时有利于提升K近邻法(K-nearest neighbours,KNN)插值的效果。本文采用Min–Max标准化,即
式中,X=(x1,x2,…,xn)表示初始数据集;max(x)和min(x)为最大值和最小值;为标准化后的数据集。
(2)缺失值填充有利于数据的完整性和连续性,本文基于相似性原理,采用KNN填充缺失值,计算缺失值与每个样本的欧式距离,找出k个最近的样本,计算k个样本的均值以填充缺失值。
式中,d(,xi)为缺失值与已知数据点欧氏距离;
为缺失值;xi为数据集中的样本;xj为最邻近样本。
(3)将预处理后的事件数据集划分为70%训练集和30%测试集。根据第1.3节提出的方法进行螺栓扭矩的预测,为了对比评估所提出CNN–BiGRU–Self-attention模型的性能,本文从模型经典性、多样性和试验完整性的角度出发,选用GRU、BP、LSSVM 3种模型为对照组进行对比试验。GRU是一种常见的循环神经网络模型,具有较好的序列建模能力;BP神经网络和LSSVM也是经典的机器学习模型,BP 是一种传统的前馈神经网络模型,而LSSVM则是一种基于核方法的支持向量机模型,两者代表了不同的建模思路,具有各自独特的优势和特点。通过与不同类型的经典模型对比,可以更好地评估所提出的CNN–BiGRU–Self-attention模型在预测任务中的效果。各模型训练集和测试集预测结果如图5所示,绝对误差对比如图6所示。
图5 各模型训练集和测试集预测结果对比
Fig.5 Comparison of prediction results between the training and test sets of each model
图6 各模型训练集和测试集绝对误差对比
Fig.6 Comparison of absolute errors between the training and test sets of each model
从图5中可以看出,各模型预测趋势基本符合实际值的变化趋势,但相对于GRU神经网络预测模型、BP预测模型和LSSVM预测模型,CNN–BiGRU–Self-attention的预测结果与真实值最接近,从图6中也可以看出,CNN–BiGRU–Self-attention的绝对误差相较于其他3种模型更小。
(4)为了进一步评估模型的性能,使用平均绝对误差Rmae、均方根误差Rrmse和决定系数R2来衡量模型预测效果和性能,如式(21)~(23)所示。其中,xri为真实值;xpi为模型预测值;为真实的均值;N为样本个数。各模型评价指标如表1所示。
表1 各模型评价指标
Table 1 Evaluation indicators for each model
预测模型RmaeRrmseR2 CNN–BiGRU–Self-attention0.0400.0760.902 GRU0.0680.1180.884 BP0.2540.2320.776 LSSVM0.3340.4280.749
可以看出,CNN–BiGRU–Selfattention模型在平均绝对误差、均方根误差和决定系数指标下表现最佳,优于其他3个预测模型,其预测值与真实值之间的平均绝对误差仅为0.040,均方根误差为0.076,并且具有较高的决定系数(R2=0.902),表明该模型预测结果更准确,对数据的拟合程度较好。这得益于CNN–BiGRU–Self-attention模型可以结合CNN、BiGRU和自注意力机制,能够更好地处理序列数据,捕捉数据的特征和时序关系,具有较强的泛化能力和预测能力,因此在DCT变速箱侧盖螺栓紧固质量预测任务中表现优异。
随着制造业与信息技术进一步融合,产品质量预测成为确保良品率的关键环节之一,数字孪生作为智能制造的关键使能技术之一,为产品的质量预测提供了一条新的途径。
(1)探讨了数字孪生技术在产品质量预测领域的应用,结合事件驱动,提出一种事件驱动式产品数字孪生系统5层架构,该架构以事件为输入,驱动产品多维制造孪生模型进行仿真,并控制物理空间中产品的制造过程。
(2)提出了产品制造多维孪生模型,该模型以事件为驱动,从几何、物理、行为、规则4个维度全面刻画虚拟空间中的产品制造过程,实现自演化、自更新的数字孪生仿真,并可通过调用所提出的混合神经网络模型实现质量预测。
(3)构建了基于混合神经网络(CNN–BiGRU–Self-attention)的产品质量预测模型,该模型以事件序列数据为输入,通过捕捉序列数据中的长期依赖关系和动态注意力调整实现准确预测。
以DCT变速箱装配为例,详细阐述了事件驱动式变速箱装配与质量预测数字孪生系统运行模式;并通过DCT变速箱侧盖螺栓紧固质量试验验证了CNN–BiGRU–Selfattention模型的预测效果,结果表明该模型具有较高的准确性且对数据的拟合程度较好。
目前,相关研究还有待深入,未来,随着制造业智能化和数字化转型的不断深入,应当进一步研究数字孪生的反馈控制策略并运用于实际生产中;进一步考虑环境的扰动、虚实复杂场景切换、虚实事件–场景的交互融合,以及复杂隐式事件的识别与处理。
[1] HE B, BAI K J.Digital twin-based sustainable intelligent manufacturing: A review[J].Advances in Manufacturing, 2021, 9(1): 1–21.
[2] TAO F, ZHANG H, LIU A, et al.Digital twin in industry: State-of-the-art[J].IEEE Transactions on Industrial Informatics, 2019,15(4): 2405–2415.
[3] 陶飞, 刘蔚然, 张萌, 等.数字孪生五维模型及十大领域应用[J].计算机集成制造系统, 2019, 25(1): 1–18.TAO Fei, LIU Weiran, ZHANG Meng,et al.Five-dimension digital twin model and its ten applications[J].Computer Integrated Manufacturing Systems, 2019, 25(1): 1–18.
[4] 唐健钧, 金筑云, 石芹芹, 等.基于数字孪生的飞机总装生产线管控模式探索与实践[J].航空制造技术, 2023, 66(6): 34–41, 65.TANG Jianjun, JIN Zhuyun, SHI Qinqin,et al.Study and realization of production line control mode based on digital twins for aircraft final assembly[J].Aeronautical Manufacturing Technology, 2023, 66(6): 34–41, 65.
[5] ZHANG M, TAO F, HUANG B Q, et al.Digital twin data: Methods and key technologies[J].Digital Twin, 2022, 1: 2.
[6] LI L, LEI B, MAO C.Digital twin in smart manufacturing[J].Journal of Industrial Information Integration, 2022, 26: 100289.
[7] ZHU X Y, JI Y J.A digital twin-driven method for online quality control in process industry[J].The International Journal of Advanced Manufacturing Technology, 2022, 119(5): 3045–3064.
[8] LIU X, JIANG D, TAO B, et al.A systematic review of digital twin about physical entities, virtual models, twin data, and applications[J].Advanced Engineering Informatics, 2023, 55:101876.
[9] SEID AHMED Y, ELMARAGHY H.Offline digital twin for simulation and assessment of product surface quality[J].The International Journal of Advanced Manufacturing Technology,2023, 127(5): 2595–2615.
[10] ZHOU S, XIANG F, LI H J, et al.A data and model-driven predictive diagnosis framework towards hot-rolled coil defect[J].International Journal of Service and Computing Oriented Manufacturing, 2023, 4(2): 156–165.
[11] 周尔民, 程度钧, 马畅, 等.基于数字孪生的车间调度扰动事件预测[J].制造业自动化, 2022, 44(9): 77–82.ZHOU Ermin, CHENG Dujun, MA Chang, et al.Prediction of disturbance events in workshop scheduling based on digital twins[J].Manufacturing Automation, 2022, 44(9): 77–82.
[12] 刘娟, 庄存波, 刘检华, 等.基于数字孪生的生产车间运行状态在线预测[J].计算机集成制造系统, 2021, 27(2): 467–477.LIU Juan, ZHUANG Cunbo, LIU Jianhua,et al.Online prediction technology of workshop operating status based on digital twin[J].Computer Integrated Manufacturing Systems,2021, 27(2): 467–477.
[13] LÓPEZ C E B.Real-time eventbased platform for the development of digital twin applications[J].The International Journal of Advanced Manufacturing Technology, 2021,116(3): 835–845.
[14] BILBERG A, AHMAD MALIK A.Digital twin driven human–robot collaborative assembly[J].CIRP Annals, 2019, 68(1): 499–502.
[15] QIU H B, CHEN Y, ZHANG H X,et al.Evolutionary digital twin model with an agent-based discrete-event simulation method[J].Applied Intelligence, 2023, 53(6): 6178–6194.
[16] WANG Y, LI Y, REN W.Digital twinbased research on the prediction method for the complex product assembly abnormal events[J].International Journal of Computer Integrated Manufacturing, 2021, 34(12): 1382–1393.
Event-Driven Product Digital Twin System Construction and Quality Prediction