人机环境动静融合的数字孪生车间快速建模方法*

王昊琪1,2,李旭鹏1,2,李 浩1,2,张玉彦1,2,杨文超1,2,何文斌1,2,王永强3,文笑雨1,2,刘 根1,2,杨新宇1,2,解 伟4

(1.郑州轻工业大学,郑州 450002;2.河南省机械装备智能制造重点实验室,郑州 450002;3.郑州煤矿机械集团股份有限公司,郑州 450007;4.格力电器(郑州)有限公司,郑州 450066)

[摘要] 数字孪生车间对于新车间的设计和原有车间的升级改造意义重大,但是“人–机–环境”动静共融的特点为数字孪生车间的快速建模带来了挑战。现有方法存在车间三维场景建模效率低、难以实现动静融合建模、缺少动静融合性的定量评估等问题。针对上述问题,在数字孪生车间概念下,结合三维扫描技术、室内定位技术、传感器技术等,提出人机环境动静融合的数字孪生车间快速建模方法,建立了对应的建模框架,研究了基于三维激光扫描的数字孪生车间静态环境快速重构、基于多传感器融合的车间动态对象感知、实时数据驱动的动静融合,并设计动静态融合评价指标,对所构建数字孪生车间的融合效果进行量化评估。最后,结合郑州轻工业大学机器人制造车间进行测试,验证了所提方法的可行性和有效性。

关键词:数字孪生车间;快速重建;人–机–环境;动静融合;定量评估

随着新一代信息技术的到来,欧美国家纷纷推出以“工业互联网”和“工业4.0”为核心的制造业升级计划,我国也提出了“中国制造2025”的发展战略,以智能制造为主要发展方向[1–2],以提高生产效率和质量、降低生产成本为目标,将制造业推向更高的水平。数字孪生(Digital twin,DT)是实现智能制造的关键使能技术之一,强调建立与实际对象等价的数字化对象,建立物理世界和虚拟世界的虚实交互[3]。制造车间是制造业生产活动的主要载体,其运行的稳定性直接关系到企业的利润与竞争力,数字孪生技术为制造车间的智能高效运行提供了一种可行的技术方案[4]。例如,在航空领域,航空发动机故障率对于乘客和财产的安全至关重要,通过数字孪生技术,显著提高了在乘客安全方面的危险预测准确性,还为工程师提供了远程维护和大修的虚拟环境和条件[5]。针对当前数字化车间存在的物理分离、模型独立、数据孤岛和应用被动等问题,陶飞等[6–7]基于数字孪生技术,提出了数字孪生车间(Digital twin workshop,DTW)的概念,构建了数字化车间的未来发展雏形。

快速建立与物理车间一致的虚拟车间是实现DTW的基础,对于新车间的设计和原有车间的升级改造意义重大,但是“人–机–环境”动静共融的特点为DTW的快速建模带来了挑战。一方面,制造车间内由人员、加工装备、输送装备、工艺装备、辅助装备和生产环境等元素组成,“人–机–环境”相互影响,车间人员的专业能力,以及不同装备的运行状态、光照强度、温度和湿度等因素对车间生产效率和产品质量有直接的影响。例如,在离散型航空制造车间中,操作人员在疲劳状态下工作会导致复杂的装配操作失误,降低产品装配的精度和质量;设备长期在高温环境下运行容易发生故障,导致生产延误;光照不足会导致检测效率下降。另一方面,制造车间是“人–机–环境”动静共融的,由墙体、管道、窗户、加工装备、工艺装备、辅助装备等组成的静态场景,其元素位置相对固定,运行状态规律,但是由人员、输送装备等组成的车间动态场景,其元素行为具有不可预测性,状态具有随机性,并且受静态场景的限制。例如,在离散型航空制造车间内部加强对工作环境的有效控制,能有效降低温/湿度、光照强度、噪声水平等因素给工作人员带来的不良影响,从而使工作人员在舒适的环境中提升工作效率[8]。因此,快速构建车间的三维模型和感知车间内“人–机–环境”的时变信息对构建数字孪生车间具有重要意义。

针对车间的静态场景三维建模和动态对象的感知与实时定位,国内外学者进行了很多研究。其中,在三维建模方面,主要采用的研究方法包括CAD建模、倾斜摄影、三维扫描等。在CAD建模方面,金星等[9]通过3D Max工具对航空结构件加工车间的车间建筑、数控机床、工业机器人、立体库等实体进行建模;覃永昊[10]采用传统建模方式,将工厂模型分为厂房、人员、设备等,通过三维建模软件进行建模、渲染,最后生成虚拟模型;李旭洋等[11]通过将车间现场的二维图导入3D Max软件对动车检修车间进行建模,但是车间环境错综复杂,对每个设备进行信息测量和建模会耗费大量的人力、物力,而且容易出现误差,建模难度大。在倾斜摄影方面,吴晓雯等[12]针对古建筑保护的高精度要求,采用无人机倾斜摄影对古建筑进行扫描,得到对应的三维模型,但是倾斜摄影一般应用于室外的大场景,容易受到环境影响,需要大量的影像数据,室内的生产车间采用倾斜摄影容易受到环境干扰,而且室内环境复杂,无人机航线规划困难。在三维扫描方面,Sommer等[13]将扫描数据和对象检测结果作为输入,自动为建筑环境生成数字孪生,此方法为生产过程中的各种优化提供基础;Farahani等[14]通过三维激光扫描系统对风塔进行采集数据,获取风塔的内部形状,完成了三维建模;王仲奇等[15]通过激光跟踪仪对飞机舱门进行扫描,并对其进行数据处理,生成了飞机舱门的数字孪生模型。

在车间人员和车辆轨迹感知方面,刘忞劼[16]在封闭、复杂、甚至无任何GPS或者移动信号的环境下,构建了一种基于指纹的室内蓝牙定位算法方案,但此方法可能会受其他信号源的影响而降低定位的准确度;马居朝[17]提出了一种基于视觉的室内定位改进方法,采用异常匹配点剔除算法,消除了异常点对室内定位估计的负面影响;吴旗[18]针对超宽带(Ultra wide band,UWB)定位技术在离散制造业中出现“盲点”与“漂移”的现象,对UWB传感器部署与定位优化两阶段进行了处理,可以获得更加精确的位置信息,但是采集的数量较少,对于大场景来说,精确位置需要大量的位置信息,因此需要进一步对数据进行挖掘;李圆圆[19]利用Wi–Fi和蓝牙技术相融合的方法,对室内定位技术进行了研究,解决了Wi–Fi信号不稳定的问题,但是建立数据库的工作量巨大,采集工作难以展开;吕程[20]提出一种基于蓝牙定位设备的层次渐进定位算法和改进的三边定位算法,用来确定机场航站楼中人员的位置。在环境信息感知方面,Wang等[21]基于考虑光照和纹理的虚拟车间高保真建模,将车间环境信息纳入其中;逯逸等[22]为监测工业生产过程中的车间环境,提出了一种基于高级精简指令集计算机(Advanced RISC machine,ARM)的车间环境监测设计;侯秀月等[23]为降低纺织车间发生火灾的风险,设计了一种基于NB-IoT的纺织车间环境监测系统,实时监测车间内的温/湿度值,减小温/湿度对生产效率的影响。

综上所述,制造业车间环境错综复杂使得数字孪生车间的建模任务具有极高的复杂性。尽管传统CAD建模在实践中应用广泛,然而其效率低下,高成本的局限性也限制了数字孪生车间建模的速度。在室内环境下,倾斜摄影的适用性受限,而三维激光扫描技术凭借其非接触性和高速数据采集优势,具备为车间快速重建提供支持的巨大潜力。在室内定位方面,相较于Wi–Fi、蓝牙等定位技术,UWB定位技术展现出更高的定位精度和更广的覆盖范围。由于UWB技术不易受环境影响,因此更适用于对车间内动态对象的行为感知。然而,在构建数字孪生车间的过程中,大多数研究仅限于对车间设备和人员的感知与模拟,缺乏对虚拟环境中的环境要素研究。融入环境要素可以提高数字孪生车间的逼真度,因此,本文在已有研究基础上提出了一种基于三维扫描技术、UWB定位技术和环境监测技术的方法,以构建性能更为全面的数字孪生制造车间。本文方法的创新点在于综合考虑了多个数据源,弥补了各种技术在特定条件下的不足,为数字孪生车间的构建提供了一种更为全面的解决方案。最后,对所构建的数字孪生车间进行了动静融合性能定量评估,以验证此方法的有效性。

1 数字孪生车间快速建模总体框架

现代工业制造领域中,制造车间体现了“人–机–环境”融合的关键特征。其中,工作人员的操作和决策直接影响机器设备的运行状态,机器设备作为核心要素,其性能和反馈则指导人员的行动和决策。同时,环境因素影响着人机协作的效果,对整体工作效率和生产稳定性产生直接影响。

针对复杂制造车间的快速重构需求,提出了基于动静融合的数字孪生车间快速建模框架,如图1所示,包括5个主要部分:车间静态对象快速三维重构模块、车间数据存储模块、车间动态对象实时感知模块、实时数据驱动的动静融合模块,以及数字孪生车间动静融合性的定量评价模块。

图1 数字孪生车间快速建模总体框架
Fig.1 Overall framework of rapid modeling of digital twin workshop

(1)车间静态对象快速三维重构模块。

该模块专注于固定在车间内、位置不会发生移动的实体元素的快速建模,如房屋建筑、辅助设备、安全设备、生产设备及仓储设备等。通过将激光雷达和惯性测量单元融合,能够快速对静态对象进行立体三维重构,进而获得物体的外观特征。静态对象的建模是后续动态感知与动静融合的基础。

(2)车间数据存储模块。

该模块以数据库技术为基础,主要对车间内动静对象的运行状态信息进行存储。根据建模方式及数据库的优化,将数据库划分为静态对象数据库、动态对象数据库、动静融合数据库、基本信息数据库。其中静态对象数据库主要存储房屋建筑、辅助设备、安全设备、生产设备,以及仓储设备等静态对象的名称、类型、坐标等数据;动态对象数据库不仅存储车间内工作人员、车辆名称及类型等数据,还包括车间内的光照、温/湿度、声音等数据;动静融合数据库主要存储工作人员和车辆速度的信息,体现出静态对象和动态对象之间的空间关系;基本信息数据库储存静态和动态物体的基本属性,如其命名、分类及关联路径等,此举旨在优化数据存储效率、避免冗余信息,实现对物体信息的高效管理与检索。

(3)车间动态对象实时感知模块。

该模块综合运用目标检测技术、室内定位技术及环境监测技术,实现对车间内动态要素的高效识别和感知,并可及时获取其在空间中的坐标信息。同时,该模块能够实时感知车间环境的状态,包括温/湿度、光照等,并将所有感知到的信息传输至数据库中进行记录。

(4)实时数据驱动的动静融合模块。

该模块融合了本地文件系统的资源,以实现对虚拟空间的高效构建和管理。将识别到的动态物体的类型信息导入到虚拟环境,同时根据数据库中动态对象的坐标信息,为其赋予运动状态,从而实现了运动轨迹在虚拟场景中的连续更新。在此过程中,环境因素的感知与还原也尤为重要。将数据库中的环境信息(如温/湿度、光照等)映射到虚拟场景中,实现了对数字孪生车间中环境特征的还原。

(5)数字孪生车间动静融合性的定量评价模块。

该模块的作用是对数字孪生车间的动静融合性进行评估。动静融合性作为系统的关键特性之一,涵盖了实时动态元素与静态环境特征的融合程度,直接影响着系统的真实性和可靠性。因此,该评价模块的设计与应用对数字孪生车间的高效运行至关重要。

2 系统实现及关键方法

2.1 基于三维激光扫描的数字孪生车间静态环境快速重构

车间静态对象的重构流程如图2所示。首先,对激光雷达和惯性测量单元通过lidar_imu_init[24]进行标定(lidar_imu_init是一种强大的实时LiDAR 惯性系统初始化方法,该方法校准了 LiDAR 和 IMU 之间的时间偏移和外在参数,以及重力矢量和 IMU 偏差)。其次,采用标定好的激光雷达对物理车间进行扫描,得到相对应的点云数据,通过点云库(Point cloud library,PCL)对点云数据进行预处理,主要采用基于统计学的离群点去除方法从原始数据中识别和移除那些明显不符合预期分布的异常值或噪声点,采用体素滤波方法将空间划分成规则的三维体素网格,在每个体素中选择一个点作为代表,以此对点云进行降采样,减少数据量,同时保留点云数据的整体结构和特征;将预处理之后的点云导入CloudCompare软件中,基于最小二乘法(Moving least squares,MLS)进行平滑处理。进行MLS算法时,首先针对点云中的某一点pi,通过设定半径计算其局部邻域Npi),即

图2 车间静态对象的重构流程图
Fig.2 Reconstruction flow chart of workshop static object

式中,(xiyizi)是pi的坐标;r为检索半径。

对于邻域内的每一个点,采用高斯权重函数计算其权重wi,即

式中,(xyz)是邻域内其他点的坐标;σ为权重衰减参数。

对点pi及其邻域Npi),利用加权最小二乘法拟合一个多项式曲面,多项式为

式中,k是多项式的阶数。

最后根据拟合结果计算经过MLS变换之后的值为

式中,fxyz)为点pi经过MLS变换之后的高度值。

则原本点pi经过MLS变换之后的坐标p

最后,通过Delaunay 2.5D(Delaunay 2.5D的计算速度快、占用内存小,符合快速重建网格的需求;另外,其对噪声数据更加鲁棒,可以处理大规模的复杂场景数据集,通过将点云投影到最佳拟合平面上进行三角剖分,生成的表面更加贴近原始采集的点分布,重建结果的逼真度也更高,因此,选用Delaunay 2.5D方法作为表面重建的方法)将处理之后的点云数据重建为Mesh网格。首先对点云的XY坐标进行三角剖分,对于每一个Delaunay三角形,计算其最佳拟合平面的法向量,确定三角形的平面,并将每个三角形的3个顶点投影到其最佳拟合平面上,形成一个二维三角形;然后使用二维三角形的顶点构建三角网格;最后为得到的三维模型添加基本属性信息(尺寸、坐标等),将得到的三维模型保存在本地文件系统。

2.2 实时数据驱动的动静环境融合

综合采用了机器视觉、UWB定位基站、传感器等技术对车间人员、车辆、环境等动态时变对象进行智能感知与建模,具体流程如图3所示。首先,在物理空间的车间生产现场部署摄像头和UWB定位基站,使用摄像头获取车间入口的监控视频流,通过YOLOv5算法(YOLOv5算法具有速度快、准确性高、多尺度检测等优点,可有效提升目标检测的效率和性能)对视频流进行目标检测,获取进入车间的物体特征,识别出物体的类型,与本地预设的动态三维模型库进行匹配,将匹配成功的三维模型实施模型实例化,以此实现物体在虚拟空间的导入。然后,通过UWB定位技术对车间内动态物体的移动和轨迹进行行为感知,通过感知车间内动态物体的实时坐标和时间戳,计算出动态物体在车间的移动速度;同时,通过光敏传感器、温/湿度传感器和声音传感器检测车间内的光照强度、温/湿度值、分贝值,将识别到的物体类型、感知到的移动速度,以及检测出的光照强度、温/湿度值、分贝值传输给数据库。通过数据库和物理引擎的通信,将数据库中动态对象的坐标信息、速度信息和环境信息映射给虚拟空间,使其呈现车间内的动态变化。

图3 实时数据驱动的动静环境融合流程图
Fig.3 Flow chart of real-time data-driven dynamic and static environment fusion

2.2.1 基于UWB定位技术的车间定位系统

UWB定位系统主要由定位基站和定位标签组成,采用到达时间差法(Time difference of arrival,TDOA)进行定位。TDOA通过标签到达各基站的距离差实现标签定位。首先,选择一个基准基站,基于此,其余定位基站可获得标签传送信号至基准基站和其他基站所经历的时间差值,该时间差值即为TDOA值。假设标签T的坐标为(xyz),选择的基准基站为基站1,不同基站的坐标为(xiyizi),其中i=1,2,…,在三维空间定位中,i≥4,根据几何意义,标签到基站1与其他基站的距离差由式(6)表示。

式中,dij表示标签到基站j和标签到基站i的距离差。脉冲信号在空气中的传播速度与时间的关系由式(7)得出:

式中,ti为标签发射信号到基站i的时间;c为脉冲信号在空气中的传播速度。

解方程组得到标签的坐标(xyz),即为车间内动态物体的实时坐标;根据动态物体在不同时刻的坐标位置,结合对应的时间差,可以得到该物体在车间内的平均速度。假设标签Tta时刻的坐标为Paxayaza),在tb时刻的坐标为Pbxbybzb),计算标签Tta时刻到tb时刻之间所移动距离,即

标签T在两个时刻的平均速度S

式中,Δt=tatb为两个时刻的时间差。

2.2.2 基于多传感器的车间环境因素实时采集

在数字孪生车间中,环境的实时感知与人员和设备的数字孪生同等重要。模拟环境参数有助于分析设备性能与环境之间的关系,评估不同环境下的设备稳定运行条件,识别对操作人员健康的潜在危害,并据此优化车间布局与流程,提高整体生产效率。因此,作为数字孪生车间的重要组成部分,环境因素的虚拟化建模与模拟仿真,不仅可以提高数字孪生的精度与可靠性,还可以为环境优化与车间改进提供依据,对车间的可持续发展具有重要意义。

如图4所示,温/湿度传感器、光敏传感器、声音传感器获取物理场景相关信息之后,对得到的信息进行处理,通过STM32中模拟数字转换器(ADC)将模拟电压信号转换为温/湿度值、光照强度值和声音分贝,得到的数据通过USART串口进行通信,并采用Python语言编写代码读取USART串口的数据,然后发送给数据库。

图4 环境因素的实时感知流程图
Fig.4 Real-time perception flow chart of environmental factors

2.3 基于模糊综合评价的动静融合性能的定量评估

由于数字孪生车间的动静融合性能直接影响其在实际生产中的效率,因此,定量评估数字孪生车间的动静融合性能,可以为制造企业提供科学依据、优化生产流程。采用模糊综合评价的方法对本研究构建的数字孪生车间的动静融合性能进行定量评估。在构建评价指标体系时,确定的评价指标需紧密关联数字孪生车间的动静融合性能,并满足科学性、可行性、稳定性原则。

基于以上原则,选取建模效率、识别准确率、感知准确率作为评价指标。建模效率是指衡量数字孪生车间的静态模型构建效率,与传统的计算机辅助设计方法建模相比,同一模型的建模时间缩短;识别准确率是指评估系统对进入车间的动态物体类型的准确识别能力,确保虚拟空间与实际车间的一致性,主要通过目标检测算法给出具体的识别准确率来确定;感知准确率是指衡量UWB定位和环境监测技术对车间内部环境和物体状态的准确感知程度,确保信息映射的精准性,主要通过物理车间中的动态时变数据和虚拟车间中实时显示的数据进行对比确定。

综上,对所构建的数字孪生车间的动静融合性能的定量评估流程如下。

确定指标集:

式中,ui为不同的指标。

确定评价集:

式中,vi为对指标的评价结果,一般取V={优秀,良好,合格,不合格}。

确定权重集:

式中,qi为各指标的权重占比,且q1+q2+…+qm=1。

收集数据并进行模糊化处理,针对评价对象,根据实际情况对收集的数据进行预处理,将其转为模糊集合。

构建模糊综合评价矩阵:

式中,rij表示指标集U中第i个元素对评价集V中第j个元素的隶属度。

建立综合评价模型:

根据最终结果确定该车间的动静融合性能的最终评价。

3 试验验证及分析

本试验在河南省机械装备智能制造重点实验室进行,三维扫描设备采用Livox–mid–70激光雷达(览沃科技公司),惯性测量单元采用WT901C(深圳维特智能科技有限公司),计算机设备为Ubuntu18.04操作系统,16 GB内存的PC机。另外,摄像头采用萤石CS–XP1,分辨率为1920 pixel×1080 pixel,声音传感器采用LM2904(Hjduino公司),温/湿度传感器采用DHT11(RISYM公司),光敏传感器采用5506(RISYM公司),STM32模块采用F103C8T6(RISYM公司)。

3.1 基于三维扫描的车间场景点云采集和模型快速重构

本节建立激光扫描系统,用于扫描车间内静态物体的外部轮廓,该扫描系统包括激光雷达、计算机、惯性测量单元等。基于三维扫描技术的模型重构如图5所示,包括设备部署、点云采集与处理、模型重构3部分。设备标定之后,点云采集的速度很快,而点云数据的处理效率则受限于计算机性能。相对于逐一测量每个物体的方法,该系统的运用提高了建模效率。

图5 点云生成模型流程图
Fig.5 Flow chart of point cloud generation model

3.2 关系型数据库的构建

为有效记录、存储和管理制造车间中的数据信息,本文通过MySQL构建了车间信息数据库,将数据库划分为静态对象数据库、动态对象数据库、动静融合数据库及基本信息库。

(1)静态对象数据库负责存储静态因素的属性信息,包括加工设备的技术参数、房屋建筑、安全设备的名称、类型、坐标等。

(2)动态对象数据库则存储了动态因素的属性信息,包括工作人员、车辆等动态物体的名称、类型等,除此之外还包括车间内的温/湿度、光照强度、声音等时变信息。通过动态数据库能够实时监测车间内各个因素的状态变化。

(3)动静融合数据库储存了动态对象在静态环境中的运动状态信息(例如车间内工作人员和车辆的实时速度),这些信息有助于理解动态因素在静态背景下的行为,为制定生产策略提供依据。

(4)基本信息库储存静态和动态物体的基本属性,例如其命名、分类及关联路径等,通过外键与其他数据库进行关联。此举旨在优化数据存储效率,避免冗余信息,实现对物体信息的高效管理与检索。

根据数据信息建立了数据库实体关系图,如图6所示。

图6 动静融合数据库实体关系图
Fig.6 Entity-relationship diagram of dynamic and static fusion database

3.3 动态因素的实时感知与建模

在对车间内的动态因素进行建模时,首先构建好有关动态物体的三维模型(如人员、小车等),并保存在本地文件系统中,通过目标检测技术识别动态物体的类型;然后采用模型匹配方法和实例化技术将模型实时导入到虚拟空间中;最后通过Unity3D与数据库通信,获取动态对象的坐标实时驱动虚拟对象移动,将数据库中保存的环境信息和动态对象的速度信息映射到Unity3D的UI界面上,如图7所示。可以看到,人员在车间中移动,虚拟场景中的人物会随之移动;同时将数据库中的环境信息数据传输给Unity3D中的UI界面。该过程将人员和车辆的速度、车间内的环境信息等动态因素与车间的房屋建筑、加工设备、安全设备等静态因素进行融合,为制造车间的智能化运行提供了实时可视化支持。

图7 动态因素的实时感知与建模
Fig.7 Real-time perception and modeling of dynamic factors

3.4 基于模糊综合评价的动静融合性的定量评估

根据所构建的数字孪生车间,选取建模效率、识别准确率和感知准确率作为评价指标。建模效率决定了建模的时间,识别准确率和感知准确率决定了所构建的数字孪生车间的准确性,即根据模糊综合评价法的步骤得出指标集U、评价集V、权重集Q。不同车间的权重不一样,根据经验,以建模效率0.3、识别准确率0.3、感知准确率0.4为例收集数据,得到隶属度信息表,如表1所示。

表1 隶属度信息表
Table 1 Membership degree table

指标集U评价集V优秀良好合格不合格建模效率0.1 0.3 0.4 0.2识别准确率0.4 0.3 0.3 0感知准确率0.3 0.4 0.2 0.1

评判矩阵R

综合评价模型B

B=Q × R=(0.27,0.34,0.29,0.1)

综合评价结果B中的最大值为0.34,对应的结果为良好。

表1中的建模效率、识别准确率和感知准确率的定量值是基于专家经验得出的,考虑到实际情况,如建模人员的熟练程度、目标检测算法的准确性以及传感器的精度等存在一定差异,本团队计划后续将研究评估指标的细化,以及更加准确的计算方法,例如采用岭回归模型进行定量评估。其中,通过比较传统CAD建模和三维扫描技术建模在建模效率的差异,建模效率的指标可细化为模型构建时间、资源消耗等;通过比较不同算法在目标识别方面的性能,同时考虑不同场景下的表现,识别准确率指标可细化为精确度、召回率等;通过对比不同传感器硬件对数据的采集和输出,以及不同串口的传输效率,感知准确率指标可细化为传感器的采样频率、噪声水平等。

同时,在对快速建模进行定量评估时,后续本团队将引入更多与建模速度相关的指标,例如计算机性能、点云滤波算法和重建算法的效率,以及建模的复杂程度。其中计算机性能细化指标分为硬件配置、并行计算能力等;点云滤波算法和重建算法的效率细化指标分为算法执行时间、内存占用等;建模的复杂程度细化指标分为几何复杂度、纹理和材质复杂度等。通过引入与建模速度相关的指标,有助于更全面、客观地评估所提出方法的性能,同时研究实际应用中的改进和优化策略。

4 结论

针对工业制造中建模效率低、缺乏动静融合性能评估等问题,本文构建了基于动静融合的数字孪生车间快速建模框架,能够快速对已有场景进行刻画。该框架通过三维扫描技术进行静态建模,通过UWB定位技术对车间内的人员和车辆等动态对象进行定位。试验结果显示,虚拟模型能够跟随动态对象移动;通过传感器与单片机、数据库、物理引擎等进行通信,实现了对车间运行状态的复现;最后通过模糊综合评价的方法对所构建的数字孪生车间进行评定,结果表明建模方法对构建数字孪生车间具有重要意义。该框架可应用于航空制造领域,有助于提高航空制造车间的管理效率和生产质量。后续研究将致力于提升基于三维扫描数据构建的数字孪生车间三维模型的精细化程度并拓展感知信息的范畴,利用系统收集的多维数据进行智能决策,采用岭回归模型定量评估以及细化评价指标等方面。

参 考 文 献

[1] 周济.智能制造——“中国制造2025”的主攻方向[J].中国机械工程, 2015, 26(17):2273–2284.ZHOU Ji.Intelligent manufacturing —Main direction of “Made in China 2025”[J].China Mechanical Engineering, 2015, 26(17): 2273–2284.

[2] 唐堂, 滕琳, 吴杰, 等.全面实现数字化是通向智能制造的必由之路——解读《智能制造之路: 数字化工厂》[J].中国机械工程,2018, 29(3): 366–377.TANG Tang, TENG Lin, WU Jie, et al.Realizing digitalization in an all-round way is the only way to intelligent manufacturing—Interpretation of the road to intelligent manufacturing: Digital factory[J].China Mechanical Engineering, 2018, 29(3): 366–377.

[3] WANG H Q, LI H, WEN X Y, et al.Unified modeling for digital twin of a knowledgebased system design[J].Robotics and Computer-Integrated Manufacturing, 2021, 68: 102074.

[4] 罗少康, 滕文琪.数字孪生车间系统构建及应用[J].机械, 2021, 48(3): 53–58.LUO Shaokang, TENG Wenqi.Construction and application of digital twin workshop system[J].Machinery, 2021, 48(3): 53–58.

[5] 苏彬, 姜钊.航空航天领域数字孪生技术应用浅析[J].现代工业经济和信息化,2022, 12(9): 132–134.SU Bin, JIANG Zhao.Analysis of digital twin technology applications in aerospace[J].Modern Industrial Economy and Informationization, 2022,12(9): 132–134.

[6] 陶飞, 程颖, 程江峰, 等.数字孪生车间信息物理融合理论与技术[J].计算机集成制造系统, 2017, 23(8): 1603–1611.TAO Fei, CHENG Ying, CHENG Jiangfeng,et al.Theories and technologies for cyber-physical fusion in digital twin shop-floor[J].Computer Integrated Manufacturing Systems, 2017, 23(8):1603–1611.

[7] 陶飞, 张萌, 程江峰, 等.数字孪生车间——一种未来车间运行新模式[J].计算机集成制造系统, 2017, 23(1): 1–9.TAO Fei, ZHANG Meng, CHENG Jiangfeng, et al.Digital twin workshop: A new paradigm for future workshop[J].Computer Integrated Manufacturing Systems, 2017, 23(1):1–9.

[8] 徐振华, 杨静.基于物联网的工厂生产车间环境监测系统设计[J].现代制造技术与装备, 2020, 56(12): 105–106.XU Zhenhua, YANG Jing.Design of environmental monitoring system for factory workshop based on internet of things[J].Modern Manufacturing Technology and Equipment, 2020,56(12): 105–106.

[9] 金星, 方柏鑫, 周丽娟.面向航空制造的数字孪生车间构建[J].自动化应用,2021(8): 77–79.JIN Xing, FANG Baixin, ZHOU Lijuan.Construction of digital twin workshops for aviation manufacturing[J].Automation Application,2021(8): 77–79.

[10] 覃永昊.核电关键构件焊接数字化车间的建模与仿真[D].成都: 电子科技大学,2022.QIN Yonghao.Modeling and simulation of welding digital workshopfor nuclear power key components[D].Chengdu: University of Electronic Science and Technology of China, 2022.

[11] 李旭洋, 马思群, 李健, 等.基于Unity3D动车虚拟检修车间漫游系统开发[J].铁路计算机应用, 2021, 30(6): 46–51.LI Xuyang, MA Siqun, LI Jian, et al.Roam system for EMU virtual maintenance workshop based on Unity3D[J].Railway Computer Application, 2021, 30(6): 46–51.

[12] 吴晓雯, 张志华, 窦觉勇.基于多视角影像的古建筑三维建模[J].地理空间信息,2022, 20(10): 74–78.WU Xiaowen, ZHANG Zhihua, DOU Jueyong.Ancient building 3D modeling based on multi-view images[J].Geospatial Information,2022, 20(10): 74–78.

[13] SOMMER M, STJEPANDIĆ J,STOBRAWA S, et al.Automated generation of digital twin for a built environment using scan and object detection as input for production planning[J].Journal of Industrial Information Integration, 2023, 33: 100462.

[14] FARAHANI B V, BARROS F,POPESCU M A, et al.Geometry acquisition and 3D modelling of a wind tower using a 3D laser scanning technology[J].Procedia Structural Integrity, 2019, 17: 712–717.

[15] 王仲奇, 杨盼, 陈世洁, 等.飞机舱门数字孪生模型构建及偏差传递分析研究[J].航空制造技术, 2022, 65(12): 36–47.WANG Zhongqi, YANG Pan, CHEN Shijie,et al.Research on construction of digital twin model and deviation transfer analysis of cabin door of airplane[J].Aeronautical Manufacturing Technology, 2022, 65(12): 36–47.

[16] 刘忞劼.室内定位关键技术研究及系统实现[D].桂林: 桂林电子科技大学, 2022.LIU Wenjie.Research and system implementation of key technologies for indoor positioning[D].Guilin: Guilin University of Electronic Technology, 2022.

[17] 马居朝.视觉图像处理及室内定位技术研究[D].南京: 南京邮电大学, 2022.MA Juchao.Research on visual image processing and indoor positioning technology[D].Nanjing: Nanjing University of Posts and Telecommunications, 2022.

[18] 吴旗.基于UWB的离散制造车间实时定位关键技术研究[D].南京: 南京航空航天大学, 2018.WU Qi.Research on key technologies of real-time location in discrete manufacturing workshop based on UWB[D].Nanjing: Nanjing University of Aeronautics and Astronautics, 2018.

[19] 李圆圆.基于WiFi和蓝牙的室内融合定位算法研究[D].锦州: 辽宁工业大学, 2021.LI Yuanyuan.Study on indoor localization algorithm based on WiFi and bluetooth[D].Jinzhou: Liaoning University of Technology, 2021.

[20] 吕程.基于室内定位的航站楼旅客分布态势感知[D].南京: 南京航空航天大学,2021.LÜ Cheng.Situation awareness of passenger distribution in terminal building based on indoor positioning[D].Nanjing: Nanjing University of Aeronautics and Astronautics, 2021.

[21] WANG H Q, LV L D, LI X P, et al.A safety management approach for industry 5.0’s human-centered manufacturing based on digital twin[J].Journal of Manufacturing Systems, 2023,66: 1–12.

[22] 逯逸, 胡立夫, 郝中胤.基于ARM的车间环境监测机器人设计[J].电子产品世界, 2023, 30(4): 27–30.LU Yi, HU Lifu, HAO Zhongyin.Design of workshop environment monitoring robot based on ARM[J].Electronic Engineering & Product World,2023, 30(4): 27–30.

[23] 侯秀月, 于会山.基于NB-IoT的纺织车间环境监测系统[J].现代计算机, 2022,28(12): 97–101, 106.HOU Xiuyue, YU Huishan.Textile workshop environmental monitoring system based on NBIoT[J].Modern Computer, 2022, 28(12): 97–101,106.

[24] ZHU F C, REN Y F, ZHANG F.Robust real-time LiDAR-inertial initialization[C]//2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).Kyoto: IEEE, 2022:3948–3955.

Rapid Modeling Method of Digital Twin Workshop Based on Dynamic and Static Fusion of Human–Machine–Environment

WANG Haoqi1,2, LI Xupeng1,2, LI Hao1,2, ZHANG Yuyan1,2, YANG Wenchao1,2, HE Wenbin1,2,WANG Yongqiang3, WEN Xiaoyu1,2, LIU Gen1,2, YANG Xinyu1,2, XIE Wei4
(1.Zhengzhou University of Light Industry, Zhengzhou 450002, China;2.Henan Key Laboratory of Intelligent Manufacturing of Mechanical Equipment, Zhengzhou 450002, China;3.Zhengzhou Coal Mining Machinery (Group) Co., Ltd., Zhengzhou 450007, China;4.GREE Electric Appliances (Zhengzhou) Co., Ltd., Zhengzhou 450066, China)

[ABSTRACT] The digital twin workshop is of great significance for the design of the new workshop and the upgrading of the original workshop, but the characteristics of “human–machine–environment” dynamic and static integration bring challenges to the rapid modeling of the digital twin workshop.The existing methods have problems such as low efficiency of workshop 3D scene modeling, difficulty in realizing dynamic and static fusion modeling, and lack of quantitative evaluation of dynamic and static fusion.For the above problems, under the existing concept of digital twin workshop,combined with three-dimensional scanning technology, indoor positioning technology, sensor technology, etc., a rapid modeling method of digital twin workshop based on dynamic and static fusion of human–machine–environment is proposed, and the corresponding modeling framework is established.The rapid reconstruction of the static environment of the digital twin workshop based on three-dimensional laser scanning, the dynamic object perception of the workshop based on multi-sensor fusion, and the dynamic and static fusion driven by real-time data are studied.The evaluation index of dynamic and static fusion is designed to quantitatively evaluate the fusion effect of the constructed digital twin workshop.Finally, the robot manufacturing workshop of Zhengzhou University of Light Industry is tested to verify the feasibility and effectiveness of the proposed method.

Keywords: Digital twin workshop; Fast reconstruction; Human–machine–environment; Dynamic and static fusion;Quantitative evaluation

DOI: 10.16080/j.issn1671-833x.2024.11.014

引文格式王昊琪, 李旭鹏, 李浩, .人机环境动静融合的数字孪生车间快速建模方法[J].航空制造技术, 2024, 67(11): 14–22.

WANG Haoqi, LI Xupeng, LI Hao, et al.Rapid modeling method of digital twin workshop based on dynamic and static fusion of human–machine–environment[J].Aeronautical Manufacturing Technology, 2024, 67(11): 14–22.

王昊琪

研究员,博士,研究方向为数字孪生技术、基于模型的系统工程等。

*基金项目:国家自然科学基金(52275277);河南省自然科学基金优青项目(242300421075);河南省重大科技专项(221100220200);河南省科技攻关项目(232102221043)。

(责编 七七)