基于双手交互的虚拟装配仿真技术研究

摘要
虚拟装配作为虚拟现实技术在产品设计领域的一种典型应用，其应用价值已经引起了越来越广泛的重视。传统的虚拟装配系统由于多数采用鼠标和键盘作为交互设备，普遍存在交互的沉浸感和适应性不强等缺点。针对这个问题，本文以虚拟装配中的人机交互方式为研究重点，从行为学和认知心里学的角度出发，提出了基于双手交互的虚拟装配仿真系统的整体设计思想，以双手交互来代替传统的鼠标交互，并且实现了一个光学头盔的虚拟装配仿真系统。在仿真系统中，用户可以利用虚拟手抓取零件，通过左右手的协作来完成装配过程。首先，本文对手势识别和手势跟踪技术进行总结，分析了多种手势识别方法的适用范围，详细叙述了基于 Hu 矩特征的手势识别方法，同时比较了多种跟踪方法的优缺点，针对CamShift算法不能自动完成跟踪的缺点，提出了“将轮廓提取和运动跟踪相互印证“的解决方法，使得CamShift算法由半自动跟踪变为全自动跟踪。其次，设计了双手交互的虚拟装配系统的整体架构和处理流程，提出了系统的两个核心数学模型：坐标计算模型和肤色阈值高斯模型，并且详细分析了手势提取、手势识别和碰撞检测等阶段的处理流程。在手势识别阶段，选定欧氏距离作为手势之间的度量准则；在碰撞检测阶段，以轴向包围盒来建立系统的包围盒树，设计了整个系统的碰撞检测策略，同时对零件间的装配关系进行规划描述。最后，分析了双手交互的虚拟装配系统中关键部分的编码实现过程，结合光学头盔的具体装配过程和装配特点，实现了一个基于双手交互的虚拟装配仿真系统，验证了双手交互在虚拟装配中的可行性，同时分析了系统设计中存在的不足之处和以后可以改进的地方。
关键词: 虚拟装配手形提取手势识别  Hu 矩手势跟踪碰撞检测
目录
1  绪论................................ ................................ ................................ ..... 1
1.1  论文的研究背景 ......................................................................................... 1
1.2  论文的研究意义 ......................................................................................... 3
1.3  国内外研究现状 ......................................................................................... 3
1.4  论文的研究内容 ......................................................................................... 5
1.5  论文的组织结构 ......................................................................................... 6
2  手势识别与手势跟踪技术研究 ................................ .......................... 7
2.1  手势识别..................................................................................................... 7
2.1.1  手势识别的处理流程....................................................................... 7
2.1.2  手势识别的常用方法..................................................................... 10
2.1.3 Hu 矩特征手势识别........................................................................ 13
2.2  手势跟踪................................................................................................... 14
2.2.1  手势跟踪常用方法......................................................................... 14
2.2.2 CamShift跟踪算法 ......................................................................... 15
2.2.3 CamShift跟踪算法的缺点及解决方法........................................... 16
2.3  本章小结................................................................................................... 17
3  基于双手交互的虚拟装配仿真系统设计 ................................ ........ 18
3.1  面临的问题及解决方法............................................................................ 18
3.2  系统的总体架构及处理流程.................................................................... 19
3.3  系统相关计算模型 ................................................................................... 20
3.3.1  数学计算模型 ................................................................................ 20
3.3.2  肤色阈值模型 ................................................................................ 22
3.4  双手跟踪及手势识别 ............................................................................... 22
3.4.1  手形提取 ........................................................................................ 22
3.4.2  手势跟踪 ........................................................................................ 23
3.4.3  分离左右手及移动向量计算 ......................................................... 24
3.4.4  手势识别 ........................................................................................ 24
3.4.5  系统常用手势库............................................................................. 25
3.5  碰撞检测................................................................................................... 26
3.5.1  碰撞检测常用方法......................................................................... 26
3.5.2  系统包围盒树的建立..................................................................... 32
3.5.3  系统碰撞检测策略......................................................................... 32
3.6  装配关系规划与描述 ............................................................................... 33
3.7  各坐标系间的相互转换............................................................................ 34
3.8  本章小结................................................................................................... 35
4  基于双手交互的虚拟装配仿真系统实现 ................................ ........ 36
4.1  系统平台选择和硬件要求........................................................................ 36
4.2  系统关键部分实现 ................................................................................... 36
4.2.1  零件模型导入 ................................................................................ 36
4.2.2  手形提取和手势跟踪..................................................................... 38
4.2.3 Hu 矩特征手势识别........................................................................ 40
4.2.4  系统包围盒树建立......................................................................... 41
4.2.5  局部坐标系和世界坐标系转换 ..................................................... 42
4.2.6  零件之间的装配............................................................................. 42
4.3  系统实现结果 ........................................................................................... 44
4.4  本章小结................................................................................................... 48
5  总结与展望 ................................ ................................ ....................... 49
5.1  总结 .......................................................................................................... 49
5.2  展望 .......................................................................................................... 50
参考文献 ................................ ................................ ............................... 51
致谢................................ ................................ ................................ ... 53