摘 要：为提高遥操作机器人的示教编程效率和在线示教的安全性，提出了面向遥操作机器人在线示教的数字孪生框架，建立了机器人及其工作场景的虚拟模型，实现了物理实体到数字孪生模型的映射；设计并实现了基于RGB-D图像和姿态示教器的遥示教方式，通过鼠标和姿态示教器规划虚拟机器人末端执行器的路径和姿态，并利用增强现实技术，实现了虚实融合示教，提高了遥操作机器人在线示教的人机交互性；构建了机器人及其工作场景的八叉树模型，用以预测规划路径和姿态下机器人和工作场景之间的碰撞干涉；系统将未发生碰撞干涉的规划路径和姿态指令发送给物理机器人控制器控制物理机器人运动，从而实现基于数字孪生遥操作机器人在线示教功能，提高在线示教系统的安全性。
关键词:遥操作机器人;在线示教;数字孪生;增强现实;人机交互;碰撞检测;
Online teaching system of teleoperation robot based on digital twin model
CHEN Chengjun DING Xutong PAN Yong ZHANG Hao HONGJun
School of Mechanical and Automotive Engineering, aingdao University of Technology School of Mechanical Engineering, Xi an Jiaotong University
Abstract：In order to improve the teaching efficiency and safety of teleoperation robot, a digital twin framework for teleoperation robot is proposed. To map physical entity to the digital twin model, virtual models of both the robot and its working scene are established. A teleoperation method based on RGB-D image and posture teaching device is designed and implemented. In this method, the paths and postures of the virtual robot end-effector are controlled by mouse and posture teaching device. In addition, the augmented reality (AR) technology is used to combine the virtual modes with physical scene, and the AR-based teaching of teleoperation robot is realized. The octree models of the virtual robot and its working scene are also constructed to predict the collision interference between the virtual robot and the working scene. By collision detection technology, the system sends the planned paths and postures without collision interference to the physical robot controller to control the movement of the physical robot, so as to realize the robot online teaching of the teleoperation robot.
Keyword：teleoperation robot; online teaching; digital twin; augmented reality; human-computer interaction; collision detection;
0 引言
工业机器人广泛应用于加工制造行业，工业机器人的推广应用率是衡量一个国家工业自动化水平的重要标志。目前机器人编程方式主要分为在线示教编程、离线示教编程和自主示教编程[1]，在线示教编程的过程繁琐，效率低；离线示教编程对专业性要求高，建模工作量大，操作复杂；自主编程的场景适应能力和抗干扰能力差、成本高。
遥操作机器人[2]多应用于高温、高辐射等恶劣环境或者人无法到达的非可及环境，当前主要采用主从式控制方式，示教人员与从端机器人位于不同的物理空间，通过操作主端机器人控制从端机器人执行示教任务。由于机器人环境感知能力不足、人机交互性差等问题制约，导致遥操作机器人示教编程效率低且安全性难以保证。为提高遥操作机器人示教编程效率和安全性，Wang等人[3]提出了一种3D模型驱动的远程机器人装配方法，通过机器视觉方法建立远程端装配环境的3D虚拟模型，示教人员实时监测远程端状态，并在3D虚拟环境中利用虚拟机器人模拟装配，用以驱动远程端物理机器人运动，提高装配效率。Liu等人[4]提出了一种基于信息物理融合系统（CPS）的远程人机协作系统，利用本地端机器人控制远程端机器人，为操作员提供了远程端实时的生产环境。Nikolaos等人[5]面向人机协作，采用CPS技术，提出了基于安全距离实时评估和触发碰撞预防措施的人机协作闭环控制系统，用以保障人机协作中示教人员的人身安全。Sung等人[6]设计了一种基于深度学习和数字孪生的人机安全协作的混合现实系统，该系统通过实时测量最小安全距离，并通过混合现实眼镜向示教人员提供可视化信息，保障了人机交互的安全性。Liu等人[7]提出了一种基于上下文感知的无碰撞远程人机协作系统，该系统利用碰撞感知模块可以避免机器人与示教人员的碰撞，并保证机器人可以及时到达目标位置。上述研究多关注遥操作机器人离线示教，对遥操作机器人在线示教以及示教过程中的安全性问题研究较少。
数字孪生（Digital Twin）是指在产品或系统的整个生命周期中，通过数据交互、信息融合、迭代计算和指令优化等方法，使物理实体与虚拟模型相互关联，实现生产周期内模型、数据与技术的集成[8,9,10]。数字孪生可以利用虚拟模型、传感器数据、运行数据等，在产品的全生命周期各阶段将产品开发、产品制造、产品服务等各个环节数据在产品数字孪生体中进行关联映射，通过数字孪生体反映物理实体的功能、实时运行状态及运行发展趋势，为物理实体的全生命周期提供更加实时、高效、智能的服务[11]。Bilberg等人[12]建立了人机协作的工作场景和装配工作的数字孪生体，数字孪生体在生产系统的生命周期内通过不断地镜像物理系统来保持更新，以便快速、安全地嵌入并持续改进，提高了的人机协作的设计、构建和控制的效率。Tipary等人[13]提出了一种基于数字孪生的柔性机器人工作单元开发方法，允许在数字空间中改进工作单元，以指导柔性机器人的抓取和放置动作，加快了整体调试或重新配置的过程。Szybicki等人[14]提出了一种基于数字孪生和虚拟现实技术的工业机器人示教编程方法，通过虚拟现实技术生成机器人运动路径，通过物理实体和数字孪生模型的交互来执行示教任务，提高了工业机器人示教的人机交互性。杨艳芳等人[15]针对断路器柔性装配单元机器人，结合数字孪生技术，提出了一种支持机器人运动规划和控制的柔性装配机器人数字孪生框架，通过对装配过程中的物理实体的数字孪生建模以及与机器人运动控制器间的实时通信，优化了装配生产过程。上述研究表明，数字孪生技术可以实现机器人示教过程中物理实体和虚拟模型间的实时同步映射，为示教提供实时可视化的示教依据，可以通过数字孪生模型与物理实体的交互提高示教效率，在提高机器人示教效率和示教安全性方面具有很大的潜力。
为提高遥操作机器人在线示教的编程效率和安全性，本文提出面向遥操作机器人在线示教的数字孪生框架，建立遥操作机器人及其工作场景数字孪生模型，实现了物理实体到数字孪生模型的映射，为后续的位姿规划提供实时的可视化依据；设计基于RGB-D图像和姿态示教器的遥示教方式，结合增强现实技术，通过鼠标和姿态示教器实时规划机器人末端执行器的路径和姿态，实现了虚实融合示教，提高遥操作机器人的示教效率；构建机器人及其工作场景的八叉树模型，预测规划位姿下机器人和工作场景之间的碰撞，系统将未发生碰撞干涉的规划路径和姿态指令发送至物理机器人，控制物理机器人运动，提高遥操作机器人在线示教的安全性。
1遥操作机器人在线示教数字孪生体系架构
本研究使用数字孪生技术在线预测遥操作机器人按照示教路径和姿态运动时是否存在碰撞干涉，并以此决定是否控制物理机器人运动。因此，本文提出了如图1所示的基于数字孪生的遥操作机器人在线示教框架，该框架主要由物理单元和数字孪生单元两部分组成。其中物理单元由物理机器人及工作场景、机器人控制器和RGB-D相机等组成，数字孪生单元包括机器人数字模型单元和遥操作机器人示教单元。物理单元利用RGB-D相机等传感器获取机器人及其工作场景的状态信息，将传感器获取的实时数据发送至数字模型单元；数字模型单元对获取的几何数据、关节数据、RGB-D图像数据以及位姿数据等进行分析处理，建立机器人及其工作场景的数字孪生模型。实时数据与孪生模型相结合，预测示教过程中可能存在的碰撞干涉。遥操作机器人示教单元将数据、孪生模型以及碰撞检测结果等在上位机中实时呈现，为示教人员规划机器人位姿提供可视化依据。示教人员实时监测示教平台规划机器人的位姿，将规划的位姿数据发送至数字模型单元进行预测验证，无碰撞干涉时生成控制指令，通过ROS控制机器人运动。
本研究提出的基于数字孪生的遥操作机器人在线示教系统工作原理如下：数字模型单元根据物理机器人的尺寸参数建立机器人三维模型，根据当前姿态时物理机器人的位姿数据，利用机器人逆运动学求解，得出机器人各关节数据，使用关节数据驱动机器人三维模型运动；根据RGB-D相机拍摄工作场景的RGB-D图像进行三维重建；通过八叉树建模建立机器人及其工作场景的碰撞检测模型；根据手眼标定获得机器人基坐标系与相机坐标系的转换矩阵，将虚拟机器人模型叠加到工作场景点云图像中，从而建立机器人及其工作场景的数字孪生模型。遥操作机器人示教单元使用增强现实注册技术将虚拟机器人模型叠加到工作场景的RGB图像中，实现虚实位置一致；示教人员利用鼠标点击工作场景的RGB图像获取机器人末端执行器运动路径关键点的三维坐标，将姿态示教器姿态作为机器人末端执行器姿态的输入，在虚实融合的示教环境中规划机器人的路径和姿态；将规划的路径和姿态数据发送至碰撞检测模型，进行基于八叉树模型的碰撞检测，验证示教人员规划的机器人路径和姿态的可行性，若无碰撞干涉，再将示教路径和姿态指令传输至物理机器人，控制机器人完成在线示教操作。
与传统遥操作机器人在线示教过程相比，本研究建立了机器人及其工作场景的数字孪生模型，可以实时反馈物理机器人的位姿数据以及工作场景的实时变化，实现了数字孪生模型对实体机器人及其工作场景的实时动作、行为和状态的映射；基于八叉树模型建立了机器人及其工作场景的碰撞检测模型，可以实时监测机器人在示教过程中是否存在碰撞干涉。本研究通过数字孪生模型预测机器人是否与工作场景产生碰撞干涉，提高了示教工作的安全性；通过增强现实技术，在虚实融合的场景中交互规划机器人的路径和姿态，提高了在线示教的人机交互性和示教效率。
2机器人及工作场景数字孪生模型的构建
本研究使用ROS（Robot Operating System）建立遥操作机器人在线示教的数字孪生模型，实现物理单元与数字孪生单元之间数据信息的交互，主要用于预测遥操作机器人示教单元输出的路径和姿态是否存在碰撞干涉。基于对孪生模型数据信息分析和处理，向遥操作机器人在线示教提供智能化的支持与服务。
2.1 虚拟机器人模型的构建
建立与物理实体相一致的数字化虚拟模型是数字孪生建模的关键之一。本研究选用ABB_IRB120型号机器人，建立虚拟机器人模型，并添加虚拟机器人模型各关节坐标系。根据当前位姿下机器人的位姿数据，对机器人进行正逆运动学分析，计算机器人关节数据，使虚拟机器人模型与物理机器人的运动保持一致。建立的虚拟机器人模型如图2所示。
2.2 机器人工作场景数字孪生模型的构建
为了构建机器人工作场景数字孪生模型，本文使用RGB-D相机采集机器人工作场景的深度图像，ROS将深度图像转换成点云图像，实现三维重建。相机的深度值Z已知，根据式（1）所示的深度相机成像模型可以得到深度图像坐标与点云坐标的转换矩阵[18]：
⎧⎩⎨⎪⎪X=(x−cx)ZfxY=(y−cy)Zfy(1)
其中，(X,Y,Z)为点云的三维坐标，(x,y)为深度图像坐标，fx、fy为深度相机在X轴和Y轴方向上的焦距，cx、cy为深度相机主点坐标。当相机在工作场景中移动时，ROS系统采集到不同的视角的工作场景深度图像，通过采用图像帧间的点云配准算法，使用新的深度图像视频帧将前序深度图像视频帧中的空洞进行填充，最终融合拼接出整个工作场景的点云图像。
如图3所示，由于相机获得的点云图像视野范围过大,会采集到与机器人工作空间无关的场景点云图像，导致点云更新速率慢且点云图像边缘过于粗糙，不利于后续的碰撞检测。因此，本研究采用直通滤波、体素滤波和半径滤波对点云图像进行处理，缩小点云图像的视野范围，使点云图像的边缘更加清晰。具体步骤如下：
（1）直通滤波处理：在相机坐标系各坐标轴上设置一个阈值范围（0~1.3m），将阈值范围之外的离群点去除，消除与机器人工作场景无关的点云，缩小点云图像的视野范围；
（2）体素滤波处理：将直通滤波处理后的点云图像均分成若干个大小为0.005m的三维体素网格，该体素网格内的所有点都通过体素网格的一个重心点来表示，实现点云图像下采样，即体素滤波处理，使得采样点对应的曲面更为准确，点云边缘更加清晰；
（3）半径滤波处理：即以点云图像的某个点云点为球心，在半径为0.002m的球体内，若与球心相邻的点云点个数小于30个，则将该点云点和所有相邻的点云都剔除；若大于或等于30个，则保留所有点云点。以此进一步消除与机器人工作场景无关的离群点。
经过直通滤波、体素滤波和半径滤波处理后的点云图像如图4所示。
2.3 机器人手眼标定
为了将虚拟机器人模型与工作场景三维点云模型融合，实现位置一致，需要对机器人和RGB-D相机进行手眼标定，得到相机坐标系O-XCYCZC到机器人基坐标系O-XWYWZW的转换矩阵TCW。本研究将相机安装在机器人外一固定位置，相机坐标系相对于机器人基坐标系固定不变，机器人末端执行器坐标系和标识卡坐标系随机器人位姿的变化而变化，故采用Eye-To-Hand手眼标定方法[19]，标定示意图如图5所示。
由图5可知，机器人基坐标系、末端执行器坐标系、标识卡坐标系和相机坐标系的转换矩阵如下[20]：
(TCA)(i)=TCW⋅(TWM)(i)⋅TMA,i∈[1,n](2)
其中，TCA表示相机坐标系O-XCYCZC到标识卡坐标系O-XAYAZA的转换矩阵，TCW表示相机坐标系O-XCYCZC到机器人基坐标系O-XWYWZW的转换矩阵，TWM表示机器人基坐标系O-XWYWZW到机器人末端执行器坐标系O-XMYMZM的转换矩阵,TMA表示机器人末端执行器坐标系O-XMYMZM到标识卡坐标系O-XAYAZA的转换矩阵，n表示机器人位姿变化次数。将TMA消去得到：
(TCA)(i+1)⋅(TCA)−1(i)⋅TCW=TCW⋅(TWM)(i+1)⋅(TWM)−1(i),i∈[1,n−1](3)
令A=(TCA)(i+1)⋅(TCA)−1(i)，B=(TWM)(i+1)⋅(TWM)−1(i)，则式（3）可简化为：
A⋅TCW=TCW⋅B(4)
其中，TCA可通过相机识别标识卡直接测得，TWM可通过机器人正运动学分析得到。故使用式（4）可求得相机坐标系O-XCYCZC到机器人基坐标系O-XWYWZW间的转换矩阵TCW。根据转换矩阵TCW，在虚拟工作场景中导入机器人三维模型，建立如图6所示的机器人与其工作场景融合后的三维模型。上述机器人及其工作场景的数字孪生建模方法同样适用于移动机器人，若将机器人和RGB-D相机安装在移动平台上，只需保证操作过程中RGB-D相机与工业机器人之间的相对位置不变。
通过建立机器人及其工作场景的数字孪生模型，实现了物理实体和虚拟模型的实时动作、行为和状态的同步映射，示教人员可以实时监测机器人的运行状态以及工作场景的变化，为遥操作机器人示教提供可视化依据。
3碰撞检测
为提高遥操作机器人在线示教的安全性，需要在物理机器人执行运动指令前先对规划的路径和姿态数据进行碰撞检测。为此，本研究采用OBB (Oriented Bounding Box)碰撞检测方法[21]，建立机器人及其工作场景的八叉树模型，并进行碰撞检测，提高遥操作机器人在线示教的安全性。建立碰撞检测模型的具体步骤如下：
（1）如图7（a）所示，将机器人及其工作场景的点云图像进行分割，建立八叉树模型，并定义八叉树模型的每个立方体空间的大小。如图7（b）所示，首先将整个工作场景点云图像的立方体空间作为八叉树模型的第一层（即根节点）；然后将整个点云图像平均分成8个立方体子空间，构成八叉树模型第二层，每个立方体为第一层的子节点；将第二层的8个立方体分割成更小的8个立方体，形成第三层；依次类推，直至最后一层叶子节点，从而建立工作场景的八叉树模型。八叉树分割的层数越多，叶子层节点的立方体子空间越小，碰撞检测精度越高；反之，八叉树分割的层数越少，则叶子层节点的立方体子空间越大，碰撞检测精度越低。
（2）为提高八叉树模型的精度和更新速率，并将物理机器人的八叉树模型从工作场景的八叉树模型中剔除，需要修改ROS系统中点云图像转换八叉树模型的插件文件。首先设置八叉树模型最大分割层次和最大更新频率，在保证点云图像转换八叉树模型的速率的前提下，提高八叉树模型精度；之后结合手眼标定得到的相机坐标系O-XCYCZC到机器人基坐标系O-XWYWZW的转换矩阵TCW，将虚拟机器人模型置入工作场景八叉树模型中；再将八叉树模型填充抵消率和八叉树模型填充比例设置为1，ROS系统可以将与虚拟机器人模型大小相同体积内的八叉树模型剔除，避免将物理机器人误判成障碍物进行碰撞检测。根据如图8（a）所示的真实工作场景，将虚拟机器人模型与工作场景八叉树模型融合生成如图8（b）所示的碰撞检测模型。
建立机器人及其工作场景的碰撞检测模型后即可进行两者之间的碰撞检测，具体步骤如下：示教人员使用鼠标点击工作场景RGB图像确定虚拟机器人路径点，使用姿态示教器规划虚拟机器人末端执行器的姿态；遥操作机器人在线示教单元将规划好的示教路径与姿态数据发送至碰撞检测模型，更新虚拟机器人模型；RGB-D相机拍摄工作场景实时的深度图像，对工作场景进行八叉树建模；使用OBB碰撞检测算法对虚拟机器人模型和工作场景的八叉树模型进行碰撞检测，检测示教路径与姿态下虚拟机器人是否与周围环境碰撞。如图9所示，若虚拟机器人某关节与工作场景有碰撞干涉的情况出现，则将该关节标红，并在示教平台输出报警信息，同时控制物理机器人停止运动；若不产生碰撞则将示教路径和姿态数据发送至机器人控制器，控制机器人运动。本碰撞检测方法在机器人执行示教任务的过程中也可进行实时碰撞检测。
4基于RGB-D图像和姿态示教装置的遥操作机器人在线示教
为了提高遥操作机器人的编程效率和人机交互性，本团队提出了一种基于RGB-D图像和姿态示教装置的机器人示教方法[22]，该方法通过RGB-D相机获取机器人工作场景实时的RGB图像和深度图像，通过增强现实注册将虚拟机器人模型叠加到机器人工作场景的RGB图像中，示教人员使用鼠标点击选取工作场景的RGB图像路径点，使用姿态示教器规划虚拟机器人末端执行器的姿态，将规划的路径与姿态数据保存并发送至物理机器人，控制其运动，实现机器人的路径和姿态示教。该方法虽然提供了一种高效便捷的机器人示教方式，但是规划的路径与姿态数据未经验证就发送至物理机器人，使得物理机器人的示教过程存在安全隐患。因此本研究在遥操作机器人数字孪生模型的基础上，采用基于RGB-D图像和姿态示教装置的示教方法，将规划的路径与姿态数据先发送至ROS系统中的机器人碰撞检测模型进行碰撞检测，无碰撞发生时再将运动指令发送至物理机器人完成遥示教编程，降低遥操作机器人在线示教的安全隐患，具体示教流程如图10所示。
（1）在进行机器人位姿规划前，RGB-D相机拍摄工作场景实时RGB图像，根据手眼标定得到的相机坐标系O-XcYcZc到物理机器人基坐标系O-XWYWZW的转换矩阵TCW转换，将虚拟机器人模型叠加到真实工作场景中，使虚拟机器人基坐标系和物理机器人基坐标系重合，实现增强现实注册。
（2）如图11（a）和（b）所示，示教人员使用鼠标点击选取工作场景的RGB图像确定遥操作机器人在线示教的路径点，路径点会同时显示在RGB图像和深度图像中。如图12所示，根据RGB图像与深度图像之间的映射关系以及相机坐标系O-XcYcZc到物理机器人基坐标系O-XWYWZW的转换矩阵，来计算示教路径点在物理机器人基坐标系O-XWYWZW下的三维坐标P(xw,yw,zw)，具体步骤如下：
①已知图像上路径点P在RGB图像中的像素坐标为p(uc,vc)，深度相机的深度值为d，根据RGB图像坐标系O-UcVc到深度图像坐标系O-UdVd的转换矩阵可以得到路径点P在深度图像坐标系O-UdVd中的像素坐标p(ud,vd,d);
②根据深度相机的内部参数矩阵Mt和深度相机的焦距f，可以得到深度图像中任意一点p(ud,vd,d)，在深度相机坐标系O-XdYdZd中的三维坐标(xd,yd,zd)：
③根据深度相机坐标系O-XdYdZd到RGB相机坐标系O-XcYcZc的转换矩阵，计算得到路径点P在RGB相机坐标系中的三维坐标系(xc,yc,zc)；
④根据手眼标定得到的RGB相机坐标系O-XcYcZc到物理机器人基坐标系O-XWYWZW的转换矩阵TCW，计算到的路径点P在物理机器人基坐标系O-XWYWZW中的三维坐标P(xw,yw,zw)。
计算出路经点在物理机器人基坐标系O-XWYWZW中的三维坐标P(xw,yw,zw)后，经机器人逆运动学模型求解，得到虚拟机器人各关节的旋转角度，驱动虚拟机器人末端执行器以默认的姿态移动至相应的路径点，如图11（c）所示。
（3）路径规划结束后，使虚拟机器人模型的末端执行器跟随路径点运动，在运动的过程中，示教人员使用姿态示教器对虚拟机器人末端执行器的姿态进行规划。如图13（a）所示，姿态示教器采用惯性传感器模块在地理坐标系中输出姿态数据，并通过蓝牙模块将姿态数据传输至计算机。在姿态示教过程中，示教人员通过调节姿态示教器的姿态来规划虚拟机器人末端执行的姿态，并通过AR可视化界面实时观察，以达到预期姿态，如图13（b）所示。
（4）在进行位置和姿态规划的同时，实时将规划的位姿数据发送至ROS系统，更新机器人碰撞检测模型，通过机器人逆运动学计算虚拟机器人各关节的运动角度，控制虚拟机器人模型运动。RGB-D相机采集工作场景实时深度图像，生成点云图像并进行八叉树建模。虚拟机器人模型与工作场景的八叉树模型进行碰撞检测，验证位姿规划的合理性。若无碰撞发生，则将生成机器人运动指令发送至机器人控制器，控制物理机器人运动。本研究在控制物理机器人运动前，先预测机器人与工作场景之是否存在碰撞干涉，降低了碰撞的风险，提高了遥操作机器人在线示教的安全性。
5实验验证与分析
为验证基于数字孪生的遥操作机器人在线示教方法的可行性和安全性，本文设计了如图14所示的实验系统。实验系统由本地端和远程端组成，其中本地端包括机器人、机器人控制器、机器人工作台和RGB-D相机等；远程端包括示教人员、两台计算机和姿态示教器等。示教人员在1号计算机（CPU：i7-9700，RAM：16GB，显卡：RTX2060，系统：Ubuntu16.04，ROS：kinetic）中运行ROS系统，进行数字孪生建模，建立机器人及其工作场景的数字孪生模型；在2号计算机（CPU：i5-9300，RAM：16GB，显卡：GTX1650，系统：Windows 10）中基于VS2013开发环境，搭建AR示教环境，采用鼠标和姿态示教器进行机器人的位姿规划，实现虚实融合示教。
具体实验流程如下：
（1）在进行遥操作机器人在线示教前，首先需要对机器人及其工作场景进行数字孪生建模。示教人员在1号计算机对物理机器人进行手眼标定，计算RGB-D相机在机器人基坐标系中的位姿；根据物理机器人的几何和关节数据以及RGB-D相机采集的工作场景的RGB-D图像，建立机器人及其工作场景数字孪生模型，之后基于RGB-D相机坐标系到机器人基坐标系的转换矩阵，将机器人数字孪生模型和工作场景数字孪生模型融合，如图15（a）所示；最后根据工作场景的深度图像建立工作场景的八叉树模型，基于RGB-D相机的位姿，将机器人数字孪生模型与工作场景八叉树模型融合，建立如图15（b）所示的碰撞检测模型。
（2）示教人员在2号计算机根据手眼标定得到相机位姿，将虚拟机器人模型叠加到工作场景的RGB图像中，搭建如图16（a）所示的AR示教环境；其中路径规划窗口分为RGB图像窗口和深度图像窗口，如图16（b）和（c）所示，深度图像中蓝色区域表示距离，颜色越深，距离越近。
（3）如图17（a）和（b）所示，示教人员使用鼠标点击工作场景的RGB图像，获取机器人末端执行器的路径点，点击的路径点会显示在工作场景的RGB图像和深度图像上。示教系统根据图12所示的转换矩阵计算路径点在机器人基坐标系的三维坐标，驱动虚拟机器人以默认的姿态运动至该路径点，如图17（c）所示。
（4）路径规划结束后，示教人员使用姿态示教器规划虚拟机器人末端执行器在各路径点的姿态。根据机器人当前的位姿数据，通过机器人逆运动学模型计算机器人各关节转动的角度，驱动虚拟机器人模型运动。如图18所示，在姿态规划过程中，虚拟机器人模型的姿态实时的显示在AR示教窗口中，示教人员根据AR示教窗口调节虚拟机器人模型末端执行器的姿态。
（5）在进行机器人位姿规划的同时，2号计算机将规划的位姿数据实时发送至1号计算机进行碰撞检测。如表1中碰撞检测窗口中的虚拟运动轨迹所示，当机器人运动路径上没有碰撞干涉时，ROS将位姿数据发送至机器人控制器，控制物理机器人按规划的姿态移动至路径点，完成示教操作，如表1中机器人实际运动轨迹所示。
为验证示教精度，本文以矩形轨迹示教为例，将规划的路径数据保存，使用最小二乘法将所有路径点拟合为矩形，然后计算示教路径点到矩形轮廓的最小距离，作为轨迹误差，该误差包括人的示教误差、标定算法误差、相机成像误差等。实验结果表明基于RGB-D图像和姿态示教装置的遥操作机器人示教方法的平均轨迹误差为0.5050 mm, 最大误差为 3.3261 mm[22]。因此示教轨迹精度可以满足机器人喷涂、打磨等工作要求。
根据实验结果可知，基于数字孪生的遥操作机器人在线示教方式可以实时地传递数据，可以准确地控制虚拟机器人的位姿，可以有效地检测机器人的运动状态，增强了机器人对场景的感知能力，提高了在线示教的人机交互性。此外，本研究成果还可应用于机器人实时碰撞检测。在步骤（5）生成的机器人运动轨迹上设置障碍物，将步骤（5）生成路径和姿态数据再次发送至ROS系统进行碰撞检测。RGB-D相机实时拍摄工作场景，ROS系统根据障碍物的深度图像构建障碍物的八叉树模型。碰撞检测模型识别到障碍物，ROS系统对虚拟机器人的运动路径进行重新规划，如表2中虚拟运动轨迹所示。碰撞检测窗口中的虚拟机器人的运动路径由于存在碰撞干涉而发生了改变，但依然以规划的姿态达到了目标路径点。ROS系统将碰撞检测后重新规划位姿数据发送至机器人控制器，机器人的运动轨迹如表2中实际运动轨迹所示。
综上可以看出，本文设计的基于数字孪生的遥操作机器人在线示教系统无需人工建立遥操作机器人所在环境的3D模型，通过鼠标和姿态示教器规划机器人末端执行器的位置和姿态，采用AR技术实现了示教结果的实时可视化，并且可以实时检验示教位置和姿态是否可行，可以提高遥操作机器人示教的安全性和示教效率，示教精度满足机器人喷涂、打磨等应用。本文的研究成果对遥操作机器人在线示教和控制具有一定的参考价值。
6 结束语
为提高遥操作机器人在线示教的编程效率和安全性，本文设计了基于数字孪生的遥操作机器人在线示教系统。通过建立机器人及其工作场景的数字孪生模型，实现了虚拟模型和物理实体的实时映射；采用基于RGB-D图像和姿态示教器的示教方式，实现了在虚实结合的场景中进行机器人路径和姿态规划；构建了机器人及其工作场景的八叉树模型，可提前预测示教路径和姿态下机器人和工作场景之间是否存在碰撞干涉，提高了遥操作机器人在线示教的可靠性、安全性和示教效率，为遥操作机器人在线示教提供了新思路。
[1] ONG S, THANIGAIVEL N, NEE A,et al. Augmented reality-assisted robot programming system for industrial applications, Robot. Comput. Integr. Manuf. 2020,61:101820.
[2] SHERIDANT B. Tele-robotics, automation, and human supervisory control[M]. Massachusetts: the MIT Press, 1992.
[3] WANG L, MOHAMMED A, ONORI M. Remote robotic assembly guided by 3d models linking to a real robot. CIRP Ann-Manuf Technol 2014,63(1):1–4.
[4] LIU H, WANG L. Remote human–robot collaboration: A cyber–physical system application for hazard manufacturing environment, J. Manuf. Syst. 2020,54:24–34.
[5] NIKOLAKIS N, MARATOS V, MAKRIS S. A cyber physical system (CPS) approach for safe human-robot collaboration in a shared workplace. Robot. Comput. Integr. Manuf. 56(2019)233–243.
[6] SUNG H, PARK K, DONG H R,et al. An integrated mixed reality system for safety-aware human-robot collaboration using deep learning and digital twin generation. Robot. Comput. Integr. Manuf.2022,73:102258.
[7] SCHLEICH B, ANWER N, MATHIEU L,et al. Shaping the Digital Twin for Design and Production Engineering. CIRP Annals—Manufacturing Technology 66:141–144.
[8] TAO Fei, ZHANG Meng, CHENG Jiangfeng,et al. Digital twin workshop:a new paradigm for future workshop[J].Computer Integrated Manufacturing Systems,2017,23(01):1-9. [陶飞,张萌,程江峰,等.数字孪生车间——一种未来车间运行新模式[J].计算机集成制造系统,2017,23(01):1-9.]
[9] ELISA N, LUCA F, MARCO M. A review of the roles of Digital twin in CPS-based production system[J]. Procedia Manufacturing,2017,11:939-948.
[10] TAO F,ZHANG M. Digital Twin Shop-Floor: A New Shop-Floor Paradigm Towards Smart Manufacturing[J].IEEE Access, 2017,5:20418-20427.
[11] TAO Fei, LIU Weiran, ZHANG Meng,et al. Five-dimension digital twin model and its ten applications[J]. Computer Integrated Manufacturing Systems, 2019,25(01):1-18. [陶飞,刘蔚然,张萌,等.数字孪生五维模型及十大领域应用[J].计算机集成制造系统,2019,25(01):1-18.]
[12] WU Pengxing, GUO Yu, HUANG Shaohua,et al. Visual real-time monitoring method for discrete manufacturing workshop based on digital twin[J]. Computer Integrated Manufacturing Systems, 2021,27(06):1605-1616. [吴鹏兴,郭宇,黄少华,等.基于数字孪生的离散制造车间可视化实时监控方法[J].计算机集成制造系统,2021,27(06):1605-1616.]
[13] TIPARY B, ERDS G. Generic development methodology for flexible robotic pick-and-place workcells based on Digital Twin[J]. Robot. Comput. Integr. Manuf. 2021,71:102140.
[14] BURGHARDT, SZYBICKI D, GIERLAKP,et al. Programming of Industrial Robots Using Virtual Reality and Digital Twins[J]. Applied sciences, 2020,10(2):486.
[15] YANG Yanfang, HE Huan,SHU Liang,et al.Digital twin robot and its motion control for flexible assembly of circuit breake[J/OL]. Computer Integrated Manufacturing Systems.2020, 26(11):2915-2926. DOI:10.13196/j.cims. 2020.11.002.[杨艳芳, 贺焕, 舒亮, 等. 断路器柔性装配数字孪生机器人及其运动控制[J]. 计算机集成制造系统, 2020,26(11):2915-2926. DOI:10.13196/j.cims. 2020.11.002.]
[16] LV Yongjun, LIU Feng, ZHENG Liaomo,et al. Application Analysis of Generalized and Modified D-H Method in Kinematic Modeling[J]. Computer system application,2016,25(05):197-202. [吕永军,刘峰,郑飂默,等.通用和修正D-H法在运动学建模中的应用分析[J].计算机系统应用,2016,25(05):197-202.]
[17] ZHU Heng, YANG Dongchao, CHANG Xu,et al. Calibration of Joint Parameters of Mainpulator Based on Partiale Swarm Optimization Method[J]. Machinery Design ＆ Manufacture, 2021(07):285-290. [朱衡,杨东超,常旭,等.利用粒子群优化方法标定机械臂关节参数[J].机械设计与制造,2021(07):285-290.]
[18] BETHENCOURT A, JAULIN L. 3D reconstruction using interval methods on the Kinect device coupled with an IMU [J].International Journal of Advanced Robotic Systems, 2013,10(2):1-10．
[19] STROBL K, HIRZINGERi G. Optimal Hand-Eye Calibration[C]//IEEE/RSJ International Conference on Intelligent Robots & Systems. IEEE, 2007.
[20] CHEN Baocun,WU Wei, GUO Yu,et al. Automatic Hand – Eye Calibration System of Robot based on ROS[J]. Computer Simulation,2020,37(02):343-348. [陈宝存,吴巍,郭毓,等.基于ROS的机器人自动手眼标定系统设计[J].计算机仿真,2020,37(02):343-348.]
[21] ZHOU Junwei, WAN Yu, WAN Wanggen,et al.A Method of Collision Detection with OBB based on Octree[J]. Computer Applications and Software,2009,26(04):75-77. [周俊玮,万宇,万旺根,等.一种基于八叉树的OBB包围盒碰撞检测方法[J].计算机应用与软件,2009,26(04):75-77.]
[22] PAN Y, Chen C, Li D,et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device. Robot. Comput. Integr. Manuf. 2021,71:102167.