大语言模型辅助下的增强现实装配方法*

鲍劲松1,李建军1,袁 轶2,吕超凡1,王 森3

(1.东华大学,上海 201620;2.上海外高桥造船有限公司,上海 200137;3.上海宝信软件股份有限公司,上海 201900)

[摘要] 基于增强现实的装配引导系统将数字信息叠加到物理场景中,有效指导了复杂装配作业任务。然而装配环境中人与物理世界的隔阂仍然巨大,待融合到物理世界的信息需事先准备好,并且需要人工在装配过程中来触发。研究实时且无处不在的提示,成为当前增强现实环境下的复杂装配研究热点,本文提出了一种基于大语言模型(LLMs)辅助的增强现实装配方法,其核心是将LLMs 作为装配过程中的另外一个大脑,提供无处不在的装配引导和工艺信息提示支持。首先,建立了LLMs 辅助的增强现实装配方法体系,分析了体系的要素及关联关系。其次,面向LLMs 环境,构建了匹配的工艺信息模型。随后,给出了基于LLMs 的辅助引导装配方法和流程。最后,结合某线缆装配专业知识,研发了一个专业问答系统,实现了LLMs 智能辅助引导,使装配合格率提升了15%,并通过多个案例验证了该方法的有效性。

关键词:增强现实;大语言模型(LLMs);装配;问答系统;知识图谱

在制造业领域中,复杂产品的关键装配阶段是决定产品质量和成功率的重要环节[1]。然而,由于装配过程的复杂性和多样性,传统的装配方法往往面临着一系列挑战,如装配错误率高、装配时间长等问题[2]。因此,在复杂产品的关键装配阶段,为提高初次成功率并确保质量的一致性,需要引入新的技术手段和方法。

考虑到传统装配效率低的问题,专家们引入增强现实(Augmented reality,AR)辅助装配工作、减少工人认知负荷并解决注意力分散的问题[3]。然而,目前现有的AR 辅助装配系统均在预定状态下依靠静态引导信息进行装配引导,不能很好地适应当前工况的变化,因此,实际装配过程效率大大下降。

为解决工况多变装配引导信息适应性差、无法实现快速问答和时效性指导的问题,学者们引入问答系统(Question answering systems,QA systems)作为一种新型的装配引导方式[4],问答系统作为信息检索和自然语言处理交叉研究的方向,具备回答用户所提出问题的能力。然而,由于自然语言的灵活性和模糊性,问答系统在面对这些挑战时的表现不尽如人意。

近年来,大语言模型(Large language models,LLMs)在自然语言处理领域中崭露头角[5]。InstructGPT、ChatGPT、GPT4 等大型语言模型通过预训练、微调(Fine-tuning)等技术理解并遵循人类指令,因而能够正确理解并回答复杂问题[6]。LLMs 在多种自然语言处理任务上表现出色,甚至能够成功解决新颖的任务,这为解决复杂问题提供了统一的解决方案。然而,这些模型存在一些固有局限性,如中文处理能力欠佳、部署难度高、无法获取最新事件信息以及产生虚假事实等负面影响[7]。此外,检索–增强生成(Retrieval-augmented generation,RAG)方法虽然可以整合来自外部数据库的知识,将LLMs的内在知识与外部数据库的庞大动态存储库协同合并,来提升大语言模型的表现能力,但目前主流框架Naive RAG 存在生成模型过度依赖于增强信息的风险,这可能导致输出仅是重复检索的内容,而不能提供新值或合成信息[8]。由于装配领域的工艺信息涉及大量专业知识和特定上下文,因此将LLMs 直接应用于装配领域问答无法准确理解和回答与装配相关的复杂问题。

针对上述问题,本文提出了一种LLMs 辅助的增强现实装配方法。当前可用的增强现实装配系统主要依赖于静态模型和数据的可视化来辅助装配过程。然而,在面对工况缺乏自适应性的情况下,这些系统的指导模式存在局限性,无法灵活适应不断变化的装配场景,而本文将增强现实装配与LLMs 辅助的问答系统相结合,将LLMs 作为装配过程中的另一个智能大脑,提供准确的装配引导和工艺信息提示支持,以弥补当前增强现实装配系统中存在的人–物理世界隔阂问题,进一步解决了工况多变的问题,实现装配的快速问答、时效性指导以及对装配过程的语义交互和辅助。首先建立了增强现实环境下的LLMs 辅助装配方法体系,根据体系架构依次分析各层面的相互关联;其次提出了面向复杂机电产品装配的工艺信息模型构建方法,重点研究了LLMs 辅助引导装配方法,并构建了基于专业知识与LLMs 的问答系统,实现了LLMs 智能辅助引导决策。以线缆装配为例,基于上述方法开发了基于增强现实和大语言模型的装配系统,并对装配结果进行评估和分析,证明了该方法在提高装配质量和效率方面的优势。

1 增强现实环境下的LMMs辅助装配方法

为了满足复杂装配场景下的应用需求,本文提出了增强现实环境下的LLMs 辅助装配架构,并对各部分进行分析,融合增强现实LLMs 辅助装配架构整体框架如图1 所示。

图1 增强现实环境下的LLMs 辅助装配架构
Fig.1 Architecture for using LLMs to assist assembly in an augmented reality environment

首先在信息层需构建面向复杂机电产品装配的工艺信息模型,形成适用于多型号装配引导流程的精确工艺信息模型,为复杂机电产品的装配引导提供精确工艺信息模型支持;其次是LLMs 推理层,LLMs 辅助引导决策,研究分为本地知识库构建、装配知识嵌入、图谱语义化、专业问答过程,为复杂机电产品装配引导提供精确的策略支持;最后是应用层,将LLMs 生成的复杂机电产品增强装配引导信息叠加到真实环境中,叠加的零件模型信息、装配工艺信息为复杂机电产品装配引导提供精确的信息支持。

1.1 面向复杂机电产品装配的工艺信息模型构建

面向复杂机电产品装配的工艺信息模型构建流程分为复杂机电产品装配几何模型构建(图2)、面向增强装配的基本工艺信息的组织、基于IDEF1X 方法的基本工艺信息建模3个部分。

图2 复杂机电产品装配几何模型构建
Fig.2 Construction of geometric models for complex electromechanical product assembly

(1)复杂机电产品装配几何模型构建。

首先,根据物理装配实体,通过CAD 软件[9]创建装配对象,构建装配产品的几何三维模型、约束逻辑模型以及装配位姿模型,确定装配序列规划、装配路径规划,确定所用装配工具;物理装配实体部分涉及需获取机电产品的设计图纸和CAD 模型等相关数据。这些数据提供了产品的外观、结构和尺寸等重要信息。

(2)面向增强装配的基本工艺信息的组织。

增强装配指导在实际产品装配操作中扮演着重要角色,其关键在于对基本装配工艺进行分类,以便将工艺信息转化为易于理解的装配指令。通过提取基于人操作动作的核心装配工艺,现场装配人员能够快速准确地执行装配操作。因此,对基本装配工艺进行分类,并将操作动作作为关键元素,对于提高装配过程的效率和准确性至关重要。本节旨在从常见装配工艺出发,将装配工艺分为辅助、安装工艺两大类,并将装配过程细分为装配连接准备和实施2 个阶段[10]。辅助工艺包括清理、划线、涂胶、防松、润滑和加热/冷却工艺。安装工艺包括拧紧、压装、插入、修配、对齐、放置和敲击工艺。面向增强装配的基本工艺信息的组织过程如图3 所示,这些工艺有助于提高装配效率和产品质量。

图3 面向增强装配的基本工艺信息的组织
Fig.3 Organization of basic process information for augmented assembly

(3)基于IDEF1X 方法的基本工艺信息建模。

基本装配工艺包含3 个核心要素:对象、方法和资源。在实际产品装配操作中,基本装配工艺的管理和控制对于提高装配过程的效率和准确性至关重要。为了有效管理和控制基本装配工艺,需要建立一个统一的信息模型,用于存储和管理不同类型的基本装配工艺信息。IDEF1X 方法由美国空军ICAM 计划提出[11],该方法从实体关系(Entityrelationship,E-R)模型的实体、属性与联系等基础上发展而来,用于建立系统信息模型。IDEF1X 方法的应用为不同的基本装配工艺提供了标准化的信息模型,能够在复杂的装配流程中保持数据的一致性和完整性,同时提高了工艺的透明度,帮助装配人员达到提高效率和准确性的目标,有效地实现了装配过程的管理和控制。

根据IDEF1X 方法,可以利用IDEF1X 模型构建基本装配工艺的信息模型。该模型由实体、关联和属性3 个要素组成,并遵循特定的语义和语法规则。其中,基本装配工艺信息可分为10 个实体:基本工艺实体、直接零件实体、间接零件实体、工艺路径实体、场景识别信息实体、工具/量具/工装设备实体(储存使用的标准用具的系列型号信息)、辅料实体、质量要求实体,如图4 所示。通过为每种基本装配工艺建立相应的IDEF1X 信息模型,可以构建基本装配工艺信息数据文件。

图4 基于IDEF1X 方法的基本工艺信息建模
Fig.4 Modeling for basic process information using IDEF1X method

此外,在复杂机电装配产品中,可以实现几何三维模型、约束逻辑模型和装配位姿模型的语义关联,以建立基于本体的语义知识库。这可以通过对元模型元素与本体概念之间的语义匹配和映射来实现,从而促进异构模型间的信息共享和交互,解决异构模型集成问题。最终可以生成装配信息,以供相关人员参考和使用。

1.2 LLMs 辅助引导装配方法

为提升装配过程在面临复杂工况时引导信息的自适应能力,提出一种LLMs 辅助引导决策方法,在给定装配任务后,通过收集相关复杂机电产品装配的工艺信息模型来获取相应产品的装配序列、装配路径以及相关的工艺数据,并获取必要的本地知识上下文,然后利用具有认知能力的LLMs 进行上下文学习,以合成任务的答案。提取产品和装配过程记录以获取复杂机电产品装配的多源数据,采用数据融合技术提炼知识,并构建三维故障诊断/溯源/维修策略模型库,绑定装配过程知识,形成完整的装配案例知识,通过LangChain构建本地知识库将复杂机电产品装配的多源异构数据和相关的工艺文档进行整合和文本切分,从而生成本地化的装配案例知识库。这种本地化的知识库能够更准确地反映特定领域的装配过程和需求,提供具体的装配序列、路径和相关的工艺数据,对于辅助决策研究来说具有更高的准确性和实用性;在构建本地知识并获取相关领域的专业知识后,直接向LLMs 提供增强知识,同时可利用LLMs 原有的学习能力和泛化能力,以更好地适应特定领域的需求和语境。

LLMs 在面对专业领域问题时,存在幻觉和准确性不足的局限性。为了提升模型的应对能力,本文通过引入装配知识进行嵌入和索引,通过与LLMs 深度结合实现了专业的垂直领域问答效果,并提供用户友好的交互服务。

本节从装配知识嵌入和索引、专业装配知识问答流程2 个方面[12],以线缆装配领域的应用为例,介绍如何构建问答系统。

(1)装配知识嵌入和知识图谱构建。

本系统需构建装配知识库,本文收集了装配领域现有的相关数据集并参考其构成,在此基础上,通过筛选整理得到所需的有效数据;此外,知识库还包括与装配领域相关的技术手册、权威标准以及相关的专家知识,以提供对问答任务的专业知识支持。

构建好具备学术性、简洁性和低重复率的本地知识库后,利用知识库来加载和读取各种类型的外部数据并对文档数据进行分块[13],文档被分割成块(Chunk)后进行处理。分块的过程遵循特定的准则,保证每个块内信息的完整性和独立性,以及块大小的统一性,以便于后续处理。随后得到文本块的嵌入特征,将文本块及其嵌入保存至向量数据库中。

增强装配将复杂装配工艺信息叠加到真实装配环境中,整个过程包含装配任务数据、装配操作数据以及零件单元数据。传统的知识表示方法无法对多源异构的装配信息进行组织和管理,Li 等[14]提出一种基于知识图谱的增强装配工艺组织管理方法。本文参考该方法面向装配工艺信息本体、工具、直接零件、间接零件、质量要求、辅料、量具、工具以及工装本体构建线缆装配领域知识图谱,装配知识嵌入和知识图谱构建流程如图5 所示。将所有的知识文件进行实例抽取,得到的增强装配指导信息实例录入到Neo4j 图数据库中,得到增强装配知识图谱的实例–关系图。以线缆装配工艺为例,得到的增强装配知识图谱的实例–关系如图6 所示。

图5 知识嵌入和知识图谱构建
Fig.5 Knowledge embedding and knowledge graph construction

图6 增强装配知识图谱的实例–关系局部示意图
Fig.6 Local diagram for instance–relationship of augmented assembly knowledge graph

(2)专业装配知识问答流程。

为了提高问答系统在垂直领域的表达效果,通过对输入任务进行提取任务嵌入表示的方法,在向量知识库中进行实体的相似度检索,根据这些实体检索子图,深入到一定深度(例如2),再将获得的相关实体进行相似度检索以获得相关的知识块,并将专业知识与问题文本结合起来作为输入传递给LLMs,以获得回答文本,LLMs 在垂直领域问答系统的知识注入和表达优化方法如图7 所示。

图7 LLMs 在垂直领域问答系统的知识注入和表达优化方法
Fig.7 Knowledge injection and expression optimization method of LLMs in question answering systems of vertical domain

以LLMs作为实体–关系提取器,用于识别问题文本中提到的实体和关系,并检索知识图谱中的相关知识。使用LLMs 计算关系以及问题之间的相似性来检索相关知识,表示为

式中,q 表示问题;r 表示关系;srq)表示关系r 与问题q 之间的相似度分数;LLM(*)表示qr 的生成;LLM(rT 表示大语言模型对关系r 进行向量表示的转秩,通过计算由LLM 生成的rq 的向量表示的点积来评估它们之间的相似性。在检索过程中,对问题文本提取关键实体并将其作为W,再将其扩展为同义词列表W ′,并将关键实体映射为向量空间Q,三者分别表示为

式中,k 表示关键实体数量;wi 表示与关键实体wi 相关的同义词列表;qi 为关键实体的向量表示,通过计算LLMs 生成的向量所表示的相似度来检索与问题相关的关系,并依据这些关系构建多条可能的路径,确保每条路径中的关系与原始问题高度相关,每条路径的概率计算式可表达为

式中,p 表示路径;rt 表示第t 条路径处的关系;s 是根据LLMs 生成的表示计算的相似度度量。检索到的关系和路径可以作为上下文知识来提升答案推理的性能,可表示为

式中,P 表示检索路径;a 表示答案。将检索到的知识、问题与候选答案连接为

式中,d 表示匹配到的专业知识文本,随后利用LLMs 生成x,并将x 作为输入传递给LLMs,从而生成具有专业性的回答。

1.3 增强现实环境下的复杂机电产品装配流程指导

增强现实环境下的复杂机电产品装配流程指导可分为4 个主要部分:装配引导问答、三维零件跟踪、虚拟信息注册、虚实融合显示与交互[9],如图8 所示。首先,装配人员面对真实装配场景提出装配问题,LLMs 从问题中提取关键实体以及关系,根据这些实体检索到二级子图,再将获得的相关实体进行相似度检索以获得相关的知识块,并将专业知识与问题文本结合起来作为输入传递给LLMs,再以获得回答文本作为引导信息,利用LLMs 进行相关虚拟模型的检索。其次,获取实体装配件的真实世界坐标,同时,利用头显前置相机获取头部位置信息,结合头显跟踪器的传感器来追踪头部并提取其位姿参数,场景监控相机感知目标的位姿参数、用户方位和视角以及真实空间中目标的位姿参数。随后,需要在真实环境中准确对齐虚拟装配对象的位置。通过三维注册技术,可以计算出虚拟模型在真实装配环境中的映射位置,从而实现虚拟装配环境与真实装配环境的空间关联和虚实融合效果。本文采用基于标识物的三维跟踪技术,该技术对硬件处理器要求不高且具有较高的鲁棒性,该方法在实际场景中放置标志物,摄像机识别标志物并提取顶点信息。利用仿射不变性重建标志物坐标到当前场景的姿态矩阵,实现虚拟信息的跟踪注册。

图8 增强现实环境下的复杂机电产品装配指导流程[9]
Fig.8 Guidance process for assembly of complex electromechanical products in augmented reality environment[9]

鉴于深度信息的差异以及装配工人视点的变化对虚实融合的影响,虚实融合显示在装配场景中可以确保正确的遮挡和交互关系,从而实现增强装配环境的真实感知。最后,三维空间交互技术用于帮助用户与系统进行交互,激活相应功能或获取相关信息,并且支持虚实对象之间的交互。为了有效管理和组织引导信息,引导信息组织管理技术从数据源中提取并存储关键引导信息,并根据三维空间交互技术确定的交互意图来推送相关引导信息。

复杂机电产品虚实融合增强装配系统需要搭建虚实融合装配场景以及人机交互页面,在增强现实环境下的虚实融合装配场景中,系统通过将计算机产生的图形、装配文字注释等虚拟信息叠加到装配人员所看到的真实产品装配场景中,辅助产品的装配操作;系统人机交互页面能够提供静态模型装配效果以及装配过程动画。操作员根据叠加到视野中的装配路径、文字提示信息以及装配动画完成相应装配工作。

2 案例验证

以某复杂线缆的装配任务为例,利用本文开发的基于增强现实和LLMs 的装配引导系统对线缆的装配任务进行辅助引导,如图9 所示。

图9 基于增强现实和LLMs 的装配引导系统
Fig.9 Assembly guidance system based on augmented reality and LLMs

系统架构包括增强现实装配工艺信息处理、LLMs 辅助引导决策以及增强现实信息处理平台3 个部分[15],下文以线缆装配过程为例,验证所提出的方法在线缆装配领域的可行性和有效性。

2.1 试验环境

线缆的装配场景如图10 所示,试验时,除大型伺服机构和惯性导航系统组件外,其余预定安装于火箭上的组件放置于防静电桌面,防静电桌由12 张2 m×1 m 的桌子拼成,大型伺服机构放置于防静电桌四周,惯性导航系统组件放置于试验专用转台上。

图10 线缆装配现场全貌
Fig.10 Full view of the cable assembly site

以某型号电阻盒的线缆装配任务为例,对增强装配引导系统的各功能展开介绍。验证试验的前期准备工作如下。

(1)将开发的系统部署到HoloLens2 上。

(2)根据综合试验的开展要求,将电阻盒固定于防静电台上。

(3)将待装配线缆摆放至装配区,准备开始装配作业。

试验环境如图11 所示。

图11 试验环境场景
Fig.11 Experimental environment scenario

2.2 LLMs 辅助线缆装配系统的实现

穿 戴 好HoloLens2 之 后,进 入LLMs 辅助线缆装配系统,采用语音与系统进行交互,告知相应的装配任务,确定电阻箱的型号,并且获取电阻箱在空间中所处的位置坐标和姿态信息,最后将其他电阻箱的布置以及线缆布线路径的虚拟模型信息渲染到相应的位置,即完成了系统对试验环境的初步感知,如图12 所示。

图12 系统虚拟模型渲染
Fig.12 Virtual model rendering of the system

正式装配开始后,系统将对当前需要进行装配的电阻箱进行虚化,如图13 所示。同时,系统会根据装配工艺模型对电阻箱上需要进行装配的接口进行定位标志,引导操作员对该接口进行装配。依照提示,装配人员可以完成整个装配流程。

图13 线缆的增强装配引导
Fig.13 Augmented assembly guidance for cables

2.3 效果对比与性能评估

(1)效果对比。

为了验证采用LLMs 辅助的增强现实装配方法对装配的辅助作用,分别设计制作了3 套系统,一套系统采用本文提出的方法(即专业问答系统)进行辅助问答;另外两套系统采用不同的LLMs 进行辅助问答,分别为OpenAI ChatGPT 与ChatGLM 2–6B 模型。图14 为不同模型对相同装配领域相关问题的回答结果的部分展示。

图14 不同LLMs 回答示例
Fig.14 Examples of responses from different LLMs

此外,本文随机挑选了装配数据集中存在的50 个问题,对上述3 套问答系统进行提问,对其回答结果进行对比并由装配领域专家进行评估。由于具体到某一特定装配问题的回答效果会出现因问题特性而异的情况,不同模型在处理特定类型问题时可能会表现出不同的响应效果,但本文主要关注的是不同问答系统的整体准确性和专业性。对3 套系统进行效果对比后发现,本文所提专业问答系统在回答线缆装配垂直领域中更具专业性,ChatGLM 2–6B 与OpenAI ChatGPT 无法生成准确的专业问答。因此可知,本文设计的系统在这一方面具备更好的专业回答能力。

(2)性能评估。

为了客观评估各问答系统的性能,使各系统分别回答一系列与专业相关的相同选择题。试验设计了50个线缆装配领域的选择题,覆盖不同难度级别,分别为简单题(Simple question,SQ)、中等题(Medium question,MQ)、困难题(Difficult question,DQ)。各模型对问题回答的得分情况如表1 所示。根据各问题在不同问题上的得分情况(以准确率表示)对系统性能进行评估。

表1 性能评估
Table 1 Performance evaluation

注:括号内的数字代表正确回答问题的数量。

问答系统准确率SQ MQ DQ ALL AVG专业问答系统 0.90(18) 0.70(14) 0.80(8) 0.80(40) 0.80 ChatGLM 2–6B 0.75(15) 0.45(9) 0.20(2) 0.52(26) 0.48 OpenAI ChatGPT 0.80(16) 0.60(12) 0.40(4) 0.64(32) 0.61

根据表1 可知,随着问题难度的增加,各系统的回答正确率均逐渐降低。就平均正确率(AVG)而言,专业问答系统明显优于ChatGLM 2–6B和OpenAI ChatGPT;表明本文提出的方法能够较准确地回答所提出的问题,并且其对中等题和困难题的回答准确率更高,显著提升了LLMs 的专业回答能力。

2.4 系统应用验证分析

为了验证LLMs 辅助下的装配效率,以及采用本文所提方法辅助装配的效果,本文将其他装配件的装配员工分2 组分别进行20 次试验,并与线缆熟练装配员工进行对比,统计装配流畅度、装配特殊环节完成度、装配合格率、装配完成效率和装配工艺记录效率等参数[16],结果如表2 所示。

表2 不同装配类别装配效率的对比
Table 2 Comparison of assembly efficiency for different assembly categories %

装配工艺记录效率熟练员工装配 100 100 100 100 100新员工装配 35 40 65 30 60装配类别 装配流畅度装配特殊环节完成度装配合格率装配完成效率新员工使用LLMs 增强现实引导系统装配 55 55 80 75 80新员工使用LLMs 增强现实专业问答引导系统装配 85 100 95 95 90

由表2 可知,新员工按照传统流程和方法执行装配任务时,需花费大量时间在准备工作和记录上。尽管装配合格率超过50%,但装配完成效率无法满足实际需求;LLMs 辅助下的增强现实装配方法以增强现实技术和LLMs 为支撑,因此在各方面表现均较好;在LLMs 增强现实专业问答系统的装配引导和预警下,装配员工不容易遗漏装配环节,能够100%完成装配任务,最终整体装配合格率达到95%,保证了产品质量的稳定性。对比可知,LLMs 增强现实专业问答引导系统装配指导能够极大降低装配员工的认知负担,提高装配初次成功率并确保质量的一致性。

3 结论

(1)提出大语言模型(LLMs)辅助下的增强现实装配方法体系,根据产品装配的复杂性提出融合增强现实的LLMs 装配方法。

(2)提出了面向复杂机电产品装配的工艺信息模型构建方法,重点研究了LLMs 辅助引导决策方法,并构建了基于专业知识与LLMs 的问答系统,实现了LLMs 智能辅助引导决策。

(3)通过多个案例验证了该方法的有效性和准确性。下一步的研究将着重于提高LLMs 模型的精度和完备性,同时优化多模态交互方法,以提高用户与计算机之间的交流效率与体验。

参 考 文 献

[1] 刘检华, 孙清超, 程晖, 等.产品装配技术的研究现状、技术内涵及发展趋势[J].机械工程学报, 2018, 54(11): 1–28.

LIU Jianhua, SUN Qingchao, CHENG Hui, et al.The state-of-the-art, connotation and developing trends of the products assembly technology[J].Journal of Mechanical Engineering, 2018, 54(11): 1–28.

[2] 孔繁霁, 乔兴华, 王富强, 等.飞机先进数字化装配关键技术及发展趋势[J].机械工程与自动化, 2023(2): 222–224.

KONG Fanji, QIAO Xinghua, WANG Fuqiang, et al.Key technologies and development trend of aircraft advanced digital assembly[J].Mechanical Engineering &Automation, 2023(2): 222–224.

[3] PALMARINI R, ERKOYUNCU J A,ROY R, et al.A systematic review of augmented reality applications in maintenance[J].Robotics and Computer-Integrated Manufacturing, 2018,49: 215–228.

[4] 刘萌.基于知识图谱的复杂产品装配指南的问答系统设计研究[D].上海: 东华大学, 2021.

LIU Meng.Research on the Q&A system design of complex product assembly guidelines based on knowledge graph[D].Shanghai:Donghua University, 2021.

[5] WEI J, TAY Y, BOMMASANI R,et al.Emergent abilities of large language models[EB/OL].(2022–10–26)[2023–12–18].https://arxiv.org/abs/2206.07682.

[6] WANG Y Z, KORDI Y, MISHRA S,et al.Self-instruct: Aligning language models with self-generated instructions[EB/OL].(2023–05–25)[2023–12–18].http://arxiv.org/abs/2212.10560v2.

[7] MAYNEZ J, NARAYAN S, BOHNET B, et al.On faithfulness and factuality in abstractive summarization[EB/OL].(2020–05–02)[2023–12–18].http://arxiv.org/abs/2005.00661v1.

[8] MA Y B, CAO Y X, HONG Y, et al.Large language model is not a good few-shot information extractor, but a good reranker for hard samples![EB/OL].(2023–10–21)[2023–12–18].http://arxiv.org/abs/2303.08559v2.

[9] 王发麟, 郭宇, 查珊珊.复杂机电产品线缆虚实融合装配体系构建及其关键技术[J].图学学报, 2018, 39(1): 75–84.

WANG Falin, GUO Yu, ZHA Shanshan.Assembly system construction and its key techniques of cable harness under virtual and real scene fusion for complex mechatronic products[J].Journal of Graphics, 2018, 39(1): 75–84.

[10] 蓝珊.人工装配过程增强现实辅助技术研究[D].武汉: 华中科技大学, 2018.

LAN Shan.Research on augmented reality aided technology in manual assembly process[D].Wuhan: Huazhong University of Science and Technology, 2018.

[11] WANG J F, CHANG Q, XIAO G X, et al.Data driven production modeling and simulation of complex automobile general assembly plant[J].Computers in Industry, 2011,62(7): 765–775.

[12] 张鹤译, 王鑫, 韩立帆, 等.大语言模型融合知识图谱的问答系统研究[J].计算机科学与探索, 2023, 17(10): 2377–2388.

ZHANG Heyi, WANG Xin, HAN Lifan, et al.Research on question answering system on joint of knowledge graph and large language models[J].Journal of Frontiers of Computer Science and Technology, 2023, 17(10): 2377–2388.

[13] 骆仕杰, 金日泽, 韩抒真.采用低秩编码优化大语言模型的高校基础知识问答研究[J/OL].计算机科学与探索, 2023[2023–09–11].https://link.cnki.net/urlid/11.5602.TP.20230908.1408.003.

LUO Shijie, JIN Rize, HAN Shuzhen.Research on university basic knowledge question answering using optimized large language model with low rank encoding[J/OL].Computer Science and Exploration, 2023[2023–09–11].https://link.cnki.net/urlid/11.5602.TP.20230908.1408.003.

[14] LI W, WANG J F, JIAO S C, et al.Augmented assembly work instruction knowledge graph for adaptive presentation[M]//Intelligent Robotics and Applications.Cham:Springer International Publishing, 2021: 793–803.

[15] 王发麟, 郭耀文, 龚建华, 等.基于数字孪生的复杂机电产品线缆装配工艺模型动态构建方法[J].计算机集成制造系统,2023, 29(6): 2047–2061.

WANG Falin, GUO Yaowen, GONG Jianhua, et al.Dynamic construction method of cable assembly process model for complex mechatronic products based on digital twin[J].Computer Integrated Manufacturing Systems,2023, 29(6): 2047–2061.

[16] 丁志昆, 孙奕程, 段亮亮, 等.基于数字孪生的增强现实多人协作装配[J].计算机集成制造系统, 2023, 29(6): 2019–2034.

DING Zhikun, SUN Yicheng, DUAN Liangliang, et al.AR multiplayer collaborative assembly method based on digital twin[J].Computer Integrated Manufacturing Systems,2023, 29(6): 2019–2034.

Augmented Reality Assembly Method Assisted by Large Language Models

BAO Jinsong1, LI Jianjun1, YUAN Yi2, LÜ Chaofan1, WANG Sen3
(1.Donghua University, Shanghai 201620, China;2.Shanghai Waigaoqiao Shipbuilding Co., Ltd., Shanghai 200137, China;3.Shanghai Baosight Software Limited Company, Shanghai 201900, China)

[ABSTRACT] Augmented reality-based assembly guidance systems superimpose digital information onto physical scenes to effectively guide complex assembly tasks.However, the gap between humans and the physical world in the assembly environment is huge, and the information to be fused into the physical world needs to be prepared in advance and triggered manually during the assembly process.The study of real-time and ubiquitous prompts is a hot research topic for complex assembly in augmented reality environment.In this paper, we propose an augmented reality assembly method based on the assistance of large language models (LLMs), the core of which is to use LLMs as another brain in the assembly process, providing ubiquitous assembly guidance and prompts support for technique information.Firstly, a system of LLMs-assisted augmented reality assembly method is established, and the elements and interrelationships of the system are analysed.Secondly, a matching process information model is constructed for LLMs environment.Then, the assisted guidance decision-making method and process based on LLMs are given.Finally, combined with a cable assembly expertise, a professional question answering system is developed to realize the smart assisted guidance of LLMs.Results show that the assembly pass rate increased by 15% and the effectiveness of the method is verified through several cases.

Keywords: Augmented reality; Large language models (LLMs); Assembly; Question answering systems; Knowledge graph

DOI: 10.16080/j.issn1671-833x.2024.16.107

引文格式鲍劲松, 李建军, 袁轶, .大语言模型辅助下的增强现实装配方法[J].航空制造技术, 2024, 67(16): 107–116.

BAO Jinsong, LI Jianjun, YUAN Yi, et al.Augmented reality assembly method assisted by large language models[J].Aeronautical Manufacturing Technology, 2024, 67(16): 107–116.

鲍劲松

教授,博士生导师,研究方向为智能制造系统、人机协同与机器人、虚拟现实等。

*基金项目:国家重点研发计划(2019YFB1706300)。

(责编 向阳)