0 引言

驾驶舱是飞机的中枢部位，飞行控制和状态检测等各种设备的交互界面繁多且复杂^[1]，空间紧凑，不仅要考虑飞机技术功能的实现，更需要考虑飞行员操作的可行性、效率、安全性及可靠性等诸多因素，对于整体飞机的研制具有牵一发而动全身的作用，一旦在驾驶舱设计中出现差错或遗漏，必将严重影响飞机的研制进度，增加研制成本。

为了确保驾驶舱研制早期设计方案的质量、减少返工，荷宇航NLR开发了GRACE飞行模拟器^[2]，通过飞行仿真指导驾驶舱的正确研发方向。为保证仿真系统的通用性和可重新配置能力，该系统采用模块化的硬件设备单元。该系统可重新配置的灵活度，取决于驾驶舱总体结构的灵活度及硬件（仪表、按钮、操纵器件等）的通用程度，局限性较大。

为了提高驾驶舱仿真系统的通用性和真实感，满足设计早期多方案快速优化迭代的需求，使用虚拟仿真技术和可视化技术搭建驾驶舱仿真平台成为一种新的趋势^[3-4]。波音前期研发的高分辨沉浸式混合现实仿真系统CRVS^[5]，注重视觉的清晰度和视景的真实感，借助驾驶舱物理硬件实现人机交互，通过物理驾驶舱与高分辨立体视景显示的集成，提升飞行仿真的真实感; 此后，通过与中佛罗里达大学的合作，开发了Virtual co-pilot混合现实仿真系统^[6]，该系统基于驾驶舱双飞行员的特点，采用便携式显示与大屏幕显示相结合、真实人与虚拟人相结合、虚拟场景与物理硬件相结合的多维度混合现实技术，更逼近真实情况，具备更大的应用潜力。

空客联合日本航空JAL和JALEC开发的A350 XWB训练器^[7]，混合使用了微软的Holole-ns眼镜和沉浸式虚拟现实头戴设备，专注于视觉的仿真，尽量摆脱驾驶舱物理设备的限制，但纯“虚”的显示和交互，很难提供飞行员交互时的真实感; 之后，空客研发了VRFS混合现实驾驶舱仿真系统^[8]，采用虚实融合技术，将无需交互的零部件、场景数字可视化，与关键可操纵部件有机结合，提高了仿真的真实感，保证了仿真评估的效率和质量。

中国商飞也积极探讨虚拟仿真技术在驾驶舱设计评估中的应用^[9]。上飞院研发的远程宽体客机驾驶舱虚拟评估与展示平台，将虚拟现实头显、驾驶舱物理操纵件、虚拟飞行软件及常规的工效分析功能融为一体，为混合现实技术在中国民机产业中的应用打下了良好基础。

2021年4月，EASA首次官方认证了基于混合现实技术的飞行员虚拟训练系统^[10]，成为新一代仿真技术在民机产业中应用的里程碑事件，标志着混合现实技术在飞机设计、飞行员培训等方面的应用将越来越广泛。

本文旨在提升混合现实技术在民机驾驶舱设计评估中的应用水平，重点研究解决了仿真平台中高精度虚实融合等关键问题，为民机驾驶舱的早期设计评估和优化设计提供更加方便、灵活、高效的仿真平台。本文内容主要围绕以下三方面展开:

1）整体介绍本文提出的民机驾驶舱混合现实仿真平台的系统框架，并就其中的实体场景模块、可视化模块和运行逻辑模块的功能及搭建方法进行阐述;

2）研究了一种高精度的动态虚实融合技术，解决了混合现实平台中操控部件和人的精确数字孪生问题;

3）分别在物理仿真平台和混合现实仿真平台开展相同的人机工效分析试验，验证混合现实仿真平台的有效性和可靠性。

1 民机驾驶舱混合现实仿真平台

为了给民机驾驶舱的设计评估和优化迭代提供更加方便、灵活、高效的技术平台，保证驾驶舱设计的准确性，本文针对国产民机驾驶舱早期设计评估的要求，研发了驾驶舱混合现实仿真平台，系统框架如图1所示。仿真平台采用模块化的设计理念，从功能层面系统可划分为实体场景模块、可视化模块和运行逻辑模块。

实体场景模块采用模块化的设计方案^[11]，将操控部件安置于独立的基座上并针对不同模块设置不同自由度的滑轨以进行自定义调整，提高了仿真平台对于不同机型的适配性，驾驶舱实体场景设计如图2所示。同时，通过在操控部件中安装电子信号采集设备，实时获取其操控状态，并通过硬件操控数据采集接口传入运行逻辑模块中，经解算后传入可视化模块以动态更新可视化场景。

可视化模块是仿真平台的核心模块，所有的交互、显示以及人机工效分析功能均在此模块中实现，集成了实体场景模块中所有操控部件的可视化模型构造、民机驾驶舱CAD数模的快速导入、飞行员虚拟人体构造及运动跟踪、虚实融合、真实感渲染和实时碰撞干涉检查以及混合现实仿真环境中的人机工效分析等功能，驾驶舱可视化环境如图3所示。可视化模块中所有功能均基于UE4平台和C++开发。此外，为接收来自运行逻辑模块的动态驱动数据，以实时更新可视化场景，开发了基于UE4的驾驶舱动态交互接口、基于UE4与Xplane的飞行驱动接口和实时视频流传输接口。其中，基于UE4的驾驶舱动态交互接口可实现与实体场景中操纵部件的数据交互，进而实现仿真环境中的人机交互，满足驾驶舱设计验证的需求; 基于UE4与Xplane的驾驶舱飞行驱动接口可从Xplane中获取数据，并将数据用于驱动外视景，实现飞行的起飞降落仿真; 最后实时视频流传输接口可以获取仪表绘制软件的绘制结果，并将画面在可视化场景中做对应的映射，实现可视化场景中驾驶舱仪表画面的仿真模拟。

运行逻辑模块主要用于接收实体仿真模块中操控部件的操控数据并解算飞机飞行状态，支持开展基于飞行任务的动态仿真评估工作，共包含飞行仿真软件以及仪表绘制软件两部分。本文采用Xplane和Airmanager分别作为飞行仿真软件和仪表绘制软件。

2 虚实融合技术

虚实融合技术是混合现实驾驶舱仿真平台的核心技术，其重点在于场景中要素的数字孪生，包括孪生原型和孪生实例两种级别，需要数字孪生的对象为实体场景模块中的操控部件与人^[12]。

2.1 操控部件的数字孪生

对于操控部件数字孪生的孪生原型，只需要保证操控部件实物与可视化模型一致即可实现^[13]。本文采用3D打印的方式进行操控部件实物的制作，能够保证操控部件实物与可视化模型在几何上的一致性。

在孪生实例方面，重点需要保证静止时刻操控部件的初始位姿匹配并在此基础上实现后续操作过程中的实时动态匹配。针对以上两方面的孪生实例，本文采用不同的实现方法。

1）初始位姿匹配的核心在于将操控部件实物的相对位置摆放到与可视化模型一致。因此，需对操控部件实物空间位置进行精确定位。本文使用具有亚毫米追踪精度的光学追踪定位系统，并定制了一款定位测量针。通过高精度光学追踪定位系统可以精确追踪测量针尖端的空间位置，将其作为操控部件实物的空间位置。完成精确定位后，可依据操控部件实物的空间位置调整可视化模型的空间位置。初始位姿匹配如图4所示。

2）完成初始姿态匹配后，需实现操控部件姿态的动态匹配，即保证操控部件实物与可视化模型在操控过程中始终保持姿态一致。本文采用电传信号驱动的方式，在操控部件实物中安装电子信号采集设备，实时获取其操控状态，并通过硬件操控数据采集接口传入运行逻辑模块中，经解算后用以动态更新对应可视化模型的姿态。

2.2 手指级人体运动捕捉

为实现人的孪生原型，本文通过三维扫描技术构建与真人形貌一致的数字人模型，经过模型修正、骨骼绑定等一系列处理后，形成可以使用的数字人模型^[14]，即完成人的孪生原型。

针对数字人的孪生实例，本文使用12台Opti-track光学动捕相机同步采集人体运动，将采集到的数据用于实时驱动数字人模型。首先在人的四肢末端及胸口和头部安装带有被动光标点的定位刚体并使用动捕相机同步获取刚体的六自由度信息; 然后利用FABRIK逆向运动学算法^[15]推算出人肢体各关节的运动信息; 最后利用人体各关节运动信息驱动数字人同步运动。

由于人手部各关节间的空间位置狭小，无法将带有被动光标点的定位刚体布置于手部各关节上，因此无法采用类似肢体的追踪方法。本文将单个主动光标点布置于指尖，通过追踪主动光标点的空间位置，结合FABRIK逆向运动学算法^[15]，推算手部各关节的运动信息，以此驱动虚拟人手部运动。

3 人机工效分析试验

为验证本文开发的民机驾驶舱混合现实仿真平台的有效性和可靠性，将分别在物理驾驶舱仿真平台和本文开发的混合现实驾驶舱仿真平台开展两组相同的人机工效分析试验，使用基于任务的评估方法^[16]，定量评估驾驶舱显示及可操纵设备的可视性和可达性。

3.1 试验实施细节

试验中物理驾驶舱仿真平台采用某型号民用飞机驾驶舱动态评估平台，调整本文开发的混合现实仿真平台中操控部件实物的空间位置及可视化场景，从而符合该型号民用飞机的设计布局。共邀请了6名在职飞行员，搭配成6个飞行机组，完成两组人机工效分析试验。混合现实平台试验现场及试验的可视化场景如图5和图6所示。

试验设置的飞行任务包括驾驶舱准备、起飞、着陆后程序和停机。由于本文开发的混合现实仿真平台主要针对驾驶舱早期设计方案进行验证和评估，因此试验内容将重点针对飞行任务所需的显示及操控器件完成与否的反馈显示等。

本文采用主观评估和客观测量相结合的方法完成试验内容。为开展飞行员的主观评估，针对驾驶舱早期所关注的布置布局、显示的可视性和可读性、以及控制的可达性^[17]设计了主观调查问卷表，飞行员可根据调查表进行相应的打分。通过客观测量开展的评估项目包括飞行任务中涉及的可操纵设备的可达性、显示的可视性和可读性分析。其中，可达性分析主要通过记录和分析手部到达器件位置的时间开展，到达器件位置所需的时间越短，表明可达性越好。注视时间和次数表征界面的可视性，时间越短说明信息位置越容易确定、信息内容越容易辨认，飞行员能够很快感知信息; 次数越少说明界面信息清晰、明确性好，容易理解，飞行员不用反复确认其意义。由于在驾驶舱准备阶段，飞行员主要通过视觉检查防撞灯开关、频闪灯开关等关键开关的状态，较少涉及需要人机交互的操作内容，因此在驾驶舱准备阶段，不进行操纵部件可达性的分析。

3.2 试验结果分析

为排除原始数据中可能存在的奇异值、采样缺失等问题，首先使用插值、滤波等方式对原始数据进行预处理，再对处理后的数据进行分析。

试验结果如图7所示。对试验结果进行分析，混合现实仿真平台在布局合理性和操控部件可达性方面与物理仿真平台无明显差异; 混合现实仿真平台在尺寸较小、较为精细的信息显示方面存在一定问题，究其主要原因在于混合现实平台使用的常规沉浸式显示设备的显示分辨率较低，提高显示设备的分辨率可有效弥补混合现实平台在可视性和可读性方面的不足。

4 结论

1）本文研发的民机驾驶舱混合现实仿真平台采用模块化设计，易于调整，具有高仿真度和高灵活度的优势，能够满足驾驶舱设计早期多方案对比评估的要求;

2）针对混合现实仿真平台中涉及的操控部件和人的数字孪生，实现了高精度的动态虚实融合，保证了仿真平台的真实性;

3）在驾驶舱布置布局和操控部件可达性方面，混合现实仿真平台与物理平台试验结果一致; 在尺寸较小、较为精细的信息显示方面混合现实仿真平台存在一定问题，此问题主要由于沉浸式显示设备的分辨率所致，采用高分辨率的显示设备可有效缓解此问题。

参考文献