Fig. 1 The design framework of data glove based on visual information fusion
图1 视觉信息融合数据手套设计框架
王赋攀1吴亚东1,2杨文超3杨 帆4侯佳鑫1廖 竞1
1(西南科技大学计算机科学与技术学院 四川绵阳 621010)2(西南科技大学四川省军民融合研究院 四川绵阳 621010)3(达闼科技成都有限公司 成都 610100)4(法国国家科学研究中心电子、计算与成像科学实验室(勃艮第大学) 法国第戎 21078)
摘要基于数据手套的手势交互是人机交互技术的重要实现方式，手势识别和空间定位效率对虚拟交互任务中的沉浸感和体验感有重要影响.目前主要的数据手套产品的复杂结构导致相应建模及手势识别算法设计复杂度高，难以兼顾成本和效率.面向应用需求，完成了一种融合视觉信息的数据手套应用系统方案设计.首先，在手势识别上，通过将3指弯曲度数据和视觉采集模型相结合的方法，有效简化了手势的建模和匹配过程，实现对特定手势的快速识别.其次，在空间位置定位上，提出了一种高效的基于特征校验的霍夫变换算法：通过摄像头捕获发光球的圆形轮廓以计算其三维空间位置；使用基于直径方程的改进型霍夫梯度算法降低圆形检测识别复杂度；对于连续帧图像，采用了基于可信度的特征校验法则进行快速处理，进一步提高算法整体效率.最后，该方案在沉浸式中学虚拟实验系统中应用，系统运行稳定，具有良好的交互体验.
关键词数据手套；手势识别；视觉融合；人机交互；特征校验
手势交互是一种重要的自然交互方式，在基于手势的虚拟现实交互应用中，手势定位和识别是交互过程中的关键环节，良好的交互体验要求兼顾准确率和实时性.手势数据的获取可分为基于视觉的识别和基于可穿戴设备(数据手套)的识别2个基本类别[1-2].与基于视觉的手势识别技术相比，基于数据手套的手势识别反应灵敏、精度高、实时性好、沉浸感强.数据手套不受摄像头视场区域约束和遮挡，不受空间限制；其信息获取通道独立，高性能传感器和处理器使之满足高精度、实时性的要求，避免视觉手势识别方法复杂算法支撑造成的资源和时间消耗；可作为输入/输出通道，可提供力/触觉反馈以获取更自然的体验感，在特定领域(如虚拟装配、虚拟手术等特种操作)中具有重要的实用价值.
目前针对数据手套的相关研究主要集中在虚拟手精确建模、手势识别、空间定位等方向.高龙琴等人[3]在建立虚拟手模型的基础上, 以18个传感器的CyberGlove数据手套作为手势输入设备, 通过人体手部运动学模型建立了数据手套与虚拟手之间的联系；文献[4-6]中也对基于数据手套的逼真虚拟手进行了讨论；手势识别方面，吴江琴等人[7]提出了用人工神经网络(artificial neural network, ANN)和隐Markov模型(hidden Markov model, HMM)混合方法训练手势并应用于中国手语识别系统;吕蕾等人[8]使用具有噪声的基于密度的聚类方法对手指特征点进行聚类以构造手势模板，实现高效的手势识别;Parvini等人[9]提出一种基于手指关节生物力学特征的识别算法，并在美国手语(American sign language, ASL)识别中得以应用;Iwasako等人[10]提出了一种基于5DT-14数据手套的手语训练系统，通过对手势的3D建模实现了对手势的精确还原并纠正学习者的动作;蔡兴泉等人[11]分析了基于无线数据手套的手势识别方法，以空间移动加速度信息判断手势动作，以手势和按键组合完成各种复杂交互;吕美玉等人[12]设计了一种数据手套和双目视觉技术相结合的方法，提出基于2个垂直摄像头的空间点定位与跟踪模型.
数据手套在实际应用中的问题主要体现在：1)手势识别精度取决于传感器节点的布设数量和位置，相应的标定和解算复杂，对处理芯片运算能力要求高[13]；2)采用外骨骼、气动肌肉等形式获取力反馈通道造成结构复杂、重量增加，影响用户体验；3)传感器本身无法提供位置信息，通常需要在手套上加装位置跟踪系统，采用电磁、超声、红外等方式反馈手部的空间信息，需要增加更多的模块，实现复杂，效果不稳定；4)不同型号与规格导致相应的特征提取、手势识别算法缺乏通用性.
针对上述问题，本文提出了一种融合视觉信息的空间定位与手势姿态解算的数据手套解决方案.该方案通过传感器检测手势姿态，借助视觉设备构造模板库，采用高效特征校验霍夫变换实现位置追踪，实现了设备的轻量化和运行的高效率，具有较强的可扩充性，可以满足沉浸式实时虚拟现实交互系统的应用要求.
视觉信息融合数据手套的整体框架由姿态检测与解算、弯曲度检测、手势识别和空间位置追踪等模块组成，如图1所示.姿态检测解算模块主要获取手掌在三维空间的旋转角；弯曲度检测模块采集手指弯曲程度数据，该数据在视觉设备辅助下用于建立手势模板；手势识别模块将实时获取的手指弯曲度数据与模板库进行比对以确定手势；三维位置追踪模块通过视觉检测与计算获取手部在三维空间的实时位置移动信息.三维空间位置和经过识别的手势信息最终映射到虚拟手，实现虚拟空间中的交互.
Fig. 1 The design framework of data glove based on visual information fusion
图1 视觉信息融合数据手套设计框架
本文提出了一种简化的手势模板匹配方法，将传感器数据与视觉采集信息联合建模，实现了手势的快速匹配与识别.该方法主要包含基于弯曲度传感器数据的手势采集与模板定义、手势识别2个环节.
1) 手势采集与模板定义
为获得弯曲度传感器检测数据与特定手势的映射关系，借助了视觉识别设备.Leap公司的体感控制器LeapMotion可直接获取手部骨骼点的相对位
置信息并建立静态手势模型.由于本文中的手势识别主要面向虚拟装配以及虚拟实验等应用，因此首先预设了常用的6种区分度较高的基本手势并对其进行定义，如表1所示:
Table1TheDefinitionofHandGestures
表1手势定义
Name ofGesturesGraphicSymbolsName ofGesturesGraphicSymbolsFistGoodTapShootOkayPalm
在对每种手势进行模板采集时,需同时连接数据手套与体感控制设备.测试者佩戴数据手套，保持手势稳定，同时将LeapMotion置于前额与眼睛观察视角一致，使手指弯曲度检测数据和视觉设备获取的关节点相对位置同步.针对不同手势下的检测数组和手型模板,采用多组测试数据平均值作为该手势的最终模板.测试者由多名不同年龄、性别、体型人员组成.由于实际应用中拇指、食指和中指3指的组合可以表达多数常用手势，本方案中弯曲度传感器检测该3指数据作为输入.采集测试结果如表2所示:
Table2HandTemplateofStaticGestures
表2静态手势模板
Gestures DefinitionThe Curvature ValueRelative Position of the Joints#Fist#0.684:0.734:0.816#0.0136, 0.0060, 0.0548:0.0500, 0.0024, 0.0266:0.0621, -0.0144……#Good#0:869:0.679:0.797#0.0254, 0.0285, 0.0409:0.0519, 0.0235, 0.0043:0.0704, 0.0213……#Tap#0.775:0.874:0.800#0.0195, 0.0055, 0.0521:0.0389, -0.0025, 0.0118:0.0452, -0.0156……#Shoot#0.883:0.868:0.791#0.0072, 0.0242, 0.0499:0.0433, 0.0225, 0.0223:0.0665, 0.0184……#Okay#0.821:0.746:0.887#0.0103, 0.0185, 0.0517:0.0368, -0.0071, 0.0251:0.0467, -0.0302……#Palmup#0.872:0.858:0.871#0.00757, 0.0315, 0.0454:0.0427, 0.0147, 0.0221:0.0613, -0.0041……
表2中弯曲度检测值为归一化处理后的值.关节相对位置为虚拟手模型关节点相对掌心的位置信息，包括22个关节点相对于掌心关节的相对位置.视觉设备所测得的关节相对位置还将作为虚拟空间中虚拟手的构造参数.
2) 手势识别
基于弯曲度数据与预定义手势的映射关系，可将实时检测数据与模板库数据逐一计算欧氏距离，以最小距离的模板数据所对应的手势作为识别结果.视觉设备的作用是辅助采集手势模板，采集完成即不再继续使用.手势的获取与识别完全由弯曲传感器数据决定.但存在的问题是在只定义6种手势时，对空间中的虚拟手手势的关节点相对位置数据也只有6组，即虚拟手的形状只有6个.在系统运行中手势的变化会非常突兀，影响用户体验.需要在已定义的手势模板之间增加若干没有特定手势意义的模板，这些模板用来向虚拟手传递手势动态变化.实验中在6种基本手势之外定义了4个无特定意义的模板，并选择在动作差异相对较大的“Fist”与“Palm”,“Okay”与“Tap”这2组手势之间采集模板数据，该2组手势在使用中通常连续出现，如抓取和释放、呼出菜单和点击.由于弯曲度数据的获取、手势识别，以及手势在虚拟空间中的映射是一个同步的过程，可采取一种分级的模板匹配识别方法，保证识别准确率和动作平滑性.其过程如算法1所示.
算法1. 分级的模板匹配识别算法.
输入：当前帧所获取的实时3指弯曲度检测数据inputFingers；
输出：手势识别结果gestureTemplateList[i]，包括预定义手势序号i和当前手势对应的虚拟手关节点相对位置.
① fori←0 to 5
*6种预定义手势模板*
②distance←sqrt((xi-x)2+(yi-y)2+
(zi-z)2)；
③ ifD>distance
④D←distance；
⑤ end if
⑥ end for*计算输入弯曲度数据与手势模板数据的欧氏距离并取最小值*
⑦ ifD≤T*阈值的选取同样由测试者在每种有效手势下的弯曲度数据计算与模板中对应数据的归一化距离取统计平均值*
⑧ 识别成功，转至
；
⑨ end if
⑩ fori←0 to 3*4种无特定意义手势模板*
distance←sqrt((xi-x)2+(yi-y)2+
(zi-z)2)；
ifD′>distance
D′←distance；
end if
end for*计算输入弯曲度数据与无意义的过渡手势模板数据的欧氏距离并取最小值*
ifD′≤T′
获取过渡手势，转至
；
else
获取失败，转至
；
end if
返回识别结果对应的预定义手势；
用模板数据中手部模型关节点的空间相对位置更新虚拟手；*包括6种预定义手势与4种无特定意义模板的关节点数据，增强动作平滑性*
当前帧处理结束，进入下一帧匹配过程.
旋转姿态解算模块实现手部姿态检测和解算功能，将手部旋转状态映射到虚拟空间的虚拟手，实现虚拟手的旋转控制.使用卡尔曼滤波对本数据手套中的3轴加速度计和3轴陀螺仪测量值进行数据融合，解算出准确的3轴旋转姿态角度.采用四元数法控制旋转方式以避免欧拉角万向节死锁问题[14]，四元数可看作1个向量与1个实数的组合形式，向量v=(x,y,z)表示旋转轴，w的值表示旋转的大小，四元数法可完整表达绕任意轴旋转任意角度:
q=(v,w)=((x,y,z),w).
(1)
马克点是一种目标标定方式，本文对手套位置追踪的基本思想是在手套上固定发光小球作马克点，将其在二维平面的圆形位置和尺寸映射为三维空间的位置坐标，以此实现目标的追踪.该方法的核心是二维图像中圆形的检测.霍夫变换(Hough transform)[15]是一种可靠的圆形检测算法，在实际应用中通常基于霍夫梯度法实现圆的识别.但霍夫梯度法在使用中存在2个问题：1)需要借助高性能边缘检测算法如Canny算法来进行边缘检测，并且使用遍历计算二值图像中非零点的梯度以判决投票点，带来较大的计算量，特别在图像中还存在某些干扰轮廓时，会造成资源和时间的巨大消耗，严重影响了实时性；2)若边缘轮廓质量较差时会导致梯度方向的误差累积，造成圆心定位的偏差.针对以上问题，本文提出了一种高效的利用特征校验和改进霍夫梯度法的优化算法，通过改进霍夫梯度法检测圆形流程、引入特征校验、设置特殊颜色发光球优化边缘检测等措施降低复杂度，其实现过程如图2所示：
Fig. 2 The workflow of position tracking based on feature checking Hough algorithm
图2 特征校验霍夫变换位置追踪算法流程
1) 基于改进霍夫变换的圆形检测算法
在进行圆检测时，等间距选取轮廓上的像素点作为圆周点，通过相邻圆周点估计直径方程.该直径与对应点的梯度方向相一致，类似霍夫梯度法，可沿该直径方向设定一定数量投票点.圆周扫描完成后以投票数组中最大值对应像素作为圆心，其原理如图3所示:
Fig. 3 The improved Hough algorithm for circle detection
图3 改进的霍夫梯度法检测圆
此外，流程中通过对边界区域的判别机制可删除部分非圆轮廓点，进一步提高运行效率.该优化算法主要流程如算法2所示.
算法2. 基于改进霍夫变换的快速圆形检测.
输入：边缘轮廓图像vergemap、图像尺寸width，height；
输出：目标圆thiscircle.
①vecArray=newVector2[height,width]；*创建投票数组vecArray,存放投票数和半径*
② for eachPixels∈vergemap*遍历图像以寻找边缘轮廓点*
③ if 扫描到边缘点像素X
④dotsList.add(X)；
*将该点加入点集*
⑤ 更新集合区域框标记T(xt,yt)和B(xb,yb)坐标；
⑥ ifX有邻接边缘点
⑦ 更新X点坐标；
⑧ 转至④循环执行；*沿X的8邻域区域寻找下一个临接点，并依次记录到边缘点集合dotsList中，循环执行该步骤得到边界点集和区域框，如图3(a)所示，其中虚线为边界点集，实线为该点集区域*
⑨ end if
⑩ ifdotsList.Count>40*满足点集数量的下限*
if 点集区域符合圆形特征*由式(2)判断该区域是否接近圆形*
转至执行投票算法；
else
放弃并转至②继续遍历；
end if
else
放弃并转至②继续遍历；
end if
pointsCount←n；*在dotsList等间距选择n个点*
jumpLen←dotsList.CountpointsCount；*确定间距*
searchDis←30；
fork←0 topointsCount
Ak←dotsList[k×jump]; 由式(3)和式(4)计算经过指定像素点Ak的直径
方程；*根据点Ak与前后相邻的点Ak-1和点Ak+1计算,如图3(a)所示*
forj←5 tosearchDis
沿该点直径方向进行投票，更新vecArray；*如图3(b)所示*
end for
end for
end if
end for*完成边缘轮廓点集的扫描,完成根据轮廓点所得直径方向的投票*
for eachvecArray[height,width]
ifvecArray[h,w].y>centerMsg.y
*y为该点票数*
centerMsg←vecArray[h,w]；
centerIndex.x←w；
centerIndex.y←h；
end if
end for*遍历投票数组中各个像素投票数，找到投票数最大的点即圆心，如图3(b)所示*
thiscircle.radius←半径由centerMsg求得；
thiscircle.x←centerIndex.x；
thiscircle.y←centerIndex.y.
*获得圆心坐标与半径*
根据圆的特征判断找到的连续边缘点集dotsList是否可能为圆形区域，可以式(2)作为判断条件，其方法可表达为：若该区域边框的长宽比大于等于2(即式中的maxmin)，则该点集区域不符合圆形特征.
max(|xt-xb|,|yt-yb|)<
2min(|xt-xb|,|yt-yb|),
(2)
(3)
y=ml′x+b.
(4)
Fig. 5 The binarization and edge detection of special color ball
图5 特殊颜色发光球二值化和边缘检测
图3中L1,L2为通过点Ak具有相同弧长的对称割线，可根据相邻前一个点Ak-1和后一个点Ak+1得到，其斜率分别是ml1,ml2.通过点Ak切线L的斜率取ml1,ml2的均值，而过点Ak的直径L′与切线L垂直(切线L的斜率计算如式(3)所示)，因此直径所在的直线方程为式(4)，带入点Ak坐标计算出b值即可求解出直径的方程.
2) 结合可信度和特征校验的快速定位
对逐帧图像采取改进后的霍夫梯度法进行检测仍存在计算量较大的问题，为此进一步加入了特征校验法则以提高算法的整体效率.在霍夫梯度法确定圆心和半径后，从圆心处获取圆周上的部分测试点，以半径作为平均值计算这些测试点到圆心的距离的标准差，以该标准差进行一次可信度的判别.如可信度不低于特定阈值σref，(即标准差小于阈值),则说明该圆心可信度较高，在下一帧图像中可基于当前帧圆心，直接利用圆形特征校验计算新的圆心位置进行更新.图4表示了利用圆形特征获取新的圆心的原理：以上一帧圆心O为极点，等幅度增加角度值向圆外扫描到的系列圆周点a,b,c,…,n，根据这n个圆周上的点求取质心O′作为新的圆心位置，当n较大时，质心可近似表示圆心.如判断可信度不够，则继续使用前述改进后的霍夫梯度法检测圆.
Fig. 4 Locating the center of circle by feature checking
图4 特征校验定位圆心
3) 使用特殊颜色发光球作为马克点
利用发光球其明显区别于环境背景的亮度、颜色特征，经RGB灰度化处理快速实现图像二值化和边缘提取.该方法提高了边缘检测效率，同时能得到更高质量的边缘轮廓图像.图5分别为简单背景和干扰背景下二值化及边缘检测的效果.
当发光球位于摄像头视场边缘时会导致所获球体图像不完整，对部分区域边缘点沿直径方向仍可进行投票操作，但算法首先会对区域点数和区域框外形进行筛选，因此丢失可能较大.由于本系统在实际应用中主要面向头戴式应用，用户视场可灵活调整以配合手部移动，在实用中不会造成影响.
视觉信息融合的数据手套原型系统如图6所示.旋转姿态解算模块采用MPU6050，弯曲度检测模块Flex Sensor完成手指弯曲程度的检测，选择安装在拇指、食指和中指位置；基于ARM的32 b微控制器STM32F103C8T6作为数据手套运算中心(MCU).手套上固定设置发光球作为马克点，由摄像头捕捉发光球进行目标追踪.
为了验证数据手套的功能，构造了一个VR沉浸式虚拟实验系统.系统主题为面向中学科普教育的虚拟直升机装配实验.基于Unity引擎搭建实验场景，场景模型采用3dMax生成.使用基于视觉融合数据手套作为交互输入设备，采用Cardboard盒子搭载智能手机.数据手套为自主开发的SDK接口，测试手机平台基本配置为高通骁龙801处理器，3 GB运行内存.
Fig. 6 The prototype of data glove based on visual information fusion
图6 视觉信息融合数据手套原型
Fig. 7 Ball recognition test while moving
图7 运动小球识别测试
为验证算法性能，首先进行了运动小球识别效果对比测试.使用Opencv霍夫梯度法(HoughCircles函数)和本文的特征校验霍夫变换法在有灯光干扰的环境捕捉发光球的运动轨迹，结果如图7所示.
从图7中可以看出,特征校验的霍夫变换检测得到的正确定位点更多，轨迹连贯，错误点少.2种算法耗时曲线如图8所示.
Fig. 8 Computation cost of those two algorithms
图8 算法耗时比较
同直接使用霍夫梯度法相比，特征校验霍夫变换识别算法最大耗时较高(13 ms)，但最低耗时仅1 ms，整体耗时平均值低，与算法特征相符.进一步在不同复杂程度的环境下采集位于图像不同区域的发光小球图像共50幅，对比结果如表3所示.由于合理地控制计算点数量并结合特征校验，算法运行耗时和识别准确率在复杂背景下仍达到较好的水平.
Table3ComparisonofRoundDetectionAlgorithminDifferentBackground
表3不同背景图片识别圆算法比较
AlgorithmsAverage RecognitionTime∕msRecognition Accuracy∕%OpenCV HoughCircle6.6084.3Feature Checking Hough4.8588.0
Fig. 9 System scheme demonstration of visual glove
图9 实验操作演示
实验征集10名学生志愿者参与测试，并对志愿者进行了训练以掌握交互操作的方法，最后根据实验要求，在虚拟环境下完成直升机装配操作.实验的系统界面操作方式和如图9、图10所示.用户佩戴数据手套和搭载智能手机的Cardboard盒子，按以下控制方式进行交互操作：
“Okay”手势——呼出菜单UI；
“Tap”手势——点击菜单，点击按钮进入组装实验场景；
“Shoot”手势——通过食指的指向控制视角上下移，结合头部转动实现视角移动；
“Fist”手势——关闭菜单或抓取零部件；
“Palm”手势——释放零部件.
测试完成后通过问卷形式对志愿者的个人主观体验从真实感、沉浸感、易用性等方面进行了调查.对调查项采用5分制的方法评分，最终统计结果如图11所示.
Fig. 10 The experimental system interface
图10 实验系统界面
Fig. 11 User experience of virtual experiment based on this data glove
图11 虚拟实验用户主观体验评分统计
统计调查结果表明:参与测试的志愿者对基于该型数据手套的虚拟实验系统的真实感、沉浸感、自然性等指标打分较高，同时表现出强烈的兴趣；受运行平台性能的影响，易用性指标上得分偏低，但总体评分满意度仍达到了较好的水平，且具有进一步提升的空间.实验结果表明:本文的视觉信息融合的数据手套方案可以有效满足虚拟现实系统的交互要求.
本文针对现有数据手套交互技术存在的问题，研究并实现了一种基于视觉融合的数据手套系统.该数据手套综合传感器数据和视觉信息实现了虚拟手势的交互，借助特殊颜色发光球和摄像头，采用特征校验霍夫变换算法实现了位置追踪.系统综合了数据手套和视觉手势检测技术的特点，满足了沉浸式虚拟现实交互体验系统的应用要求，其较好的沉浸感和体验感体现了新一代人机交互技术以用户为中心的特点，并且具有较强的可扩展性.后续工作中，在姿态解算精确度、手势识别、空间位置定位等方面将进一步进行探索，提高识别准确率、降低算法复杂度，加强在移动平台的运行流畅度，获取更好的体验效果.
参考文献
[1]Zhang Fengjun, Dai Guozhong, Peng Xiaolan. A survey on human-computer interaction in virtual reality[J]. SCIENTIA SINICA Informationis, 2016, 46(12): 1711-1736 (in Chinese)(张凤军, 戴国忠, 彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学: 信息科学, 2016, 46(12): 1711-1736)
[2]Yi Jingguo, Cheng Jianghua, Ku Xishu. Review of gestures recognition based on vision[J]. Computer Science, 2016, 43(6A): 103-108 (in Chinese)(易靖国, 程江华, 库锡树. 视觉手势识别综述[J]. 计算机科学, 2016, 43(6A): 103-108)
[3]Gao Longqin, Wang Aimin, Huang Weiyi, et al. Interactive model of human hand based on 18-Sensor data-glove [J]. Chinese Journal of Sensors and Actuators, 2007, 20(3): 523-527 (in Chinese)(高龙琴, 王爱民, 黄惟一, 等. 基于18传感器数据手套手部交互模型的建立[J]. 传感技术学报, 2007, 20(3): 523-527)
[4]Ren Cheng, Dai Shuling. Implementation of cyber-glove based realistic virtual hand [J]. Journal of System Simulation, 2008, 20(22): 6214-6217 (in Chinese)(任程, 戴树岭. 基于数据手套的逼真虚拟手的实现[J]. 系统仿真学报, 2008, 20(22): 6214-6217)
[5]Yang Xiaowen, Zhang Zhichun, Kuang Liqun, et al. Key technologies of human-computer interaction based on virtual hand[J]. Journal of Computer Applications, 2015, 35(10): 2945-2949 (in Chinese)(杨晓文, 张志纯, 况立群, 等. 基于虚拟手的人机交互关键技术[J]. 计算机应用, 2015, 35(10): 2945-2949)
[6]An Ming, Chen Shanguang, Liu Yuqing. Study and implementation of precise modeling of virtual-hand based on data glove[J]. Computer Simulation, 2010, 20(1): 241-244 (in Chinese)(安明, 陈善广, 刘玉庆. 基于数据手套的虚拟手精确建模的研究与实现 [J]. 计算机仿真, 2010, 20(1): 241-244)
[7]Wu Jiangqin, Gao Wen, Chen Xilin, et al. Sign language recognition method based on ANN/HMM [J]. Computer Engineering and Applications, 1999, 35(9): 1-4 (in Chinese)(吴江琴, 高文, 陈熙霖, 等. 基于ANN/HMM的中国手语识别系统[J]. 计算机工程与应用, 1999, 35(9): 1-4)
[8]Lü Lei, Zhang Jinling, Zhu Yingjie, et al. A static gesture recognition method based on data glove[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(12): 2410-2418 (in Chinese)(吕蕾, 张金玲, 朱英杰, 等.一种基于数据手套的静态手势识别方法[J]. 计算机辅助设计与图形学学报, 2015, 27(12): 2410-2418)
[9]Parvini F, McLeod D, Shahabi C. et al. An approach to glove-based gesture recognition[G] //LNCS 5611: Proc of the 13th Int Conf on Human-Computer Interaction. Berlin: Springer, 2009: 236-245
[10]Iwasako K, Soga M, Taki H. Development of finger motion skill learning support system based on data gloves[J]. Procedia Computer Science, 2014, 35: 1307-1314
[11]Cai Xingquan, Guo Tianhang, Zang Kun, ed al. Gesture recognition method based on wireless data glove[J]. Journal of System Simulation, 2014, 26(1): 72-84 (in Chinese)(蔡兴泉, 郭天航, 臧坤, 等. 基于无线数据手套的手势识别方法研究[J]. 系统仿真学报, 2014, 26(1): 72-84)
[12]Lü Meiyu, Hou Wenjun, Chen Jun. Technology of virtual gesture and its space location tracking based on data glove and binocular vision [J]. Journal of Beijing University of Posts and Telecommunications, 2012, 35(6): 50-54 (in Chinese)(吕美玉, 侯文君, 陈军. 基于数据手套和双目视觉技术的虚拟手势及其空间位置跟踪[J]. 北京邮电大学学报, 2012, 35(6): 50-54)
[13]Qi Man, Zhang Heng.Research status of data glove[J]. Computer Simulation, 1996, 13(4): 58-61 (in Chinese)(齐曼, 张珩. 数据手套的研究现状[J]. 计算机仿真, 1996, 13(4): 58-61)
[14]Zhang Ronghui, Jia Hongguang, Chen Tao, et al. Attitude solution for strapdown inertial navigation system based on quaternion algorithm[J]. Optics and Precision Engineering, 2008, 16(10): 1963-1970 (in Chinese)(张荣辉, 贾宏光, 陈涛, 等. 基于四元数法的捷联式惯性导航系统的姿态解算[J]. 光学精密工程, 2008, 16(10): 1963-1970)
[15]Qin Kaihuai, Wang Haiying, Zheng Jitao. A unified approach based on Hough transform for quick detection of circles and rectangle[J]. Journal of Image and Graphics, 2010, 15(1): 109-115 (in Chinese)(秦开怀, 王海颍, 郑辑涛. 一种基于Hough变换的圆和矩形的快速检测方法[J]. 中国图象图形学报, 2010, 15(1): 109-115)
Wang Fupan1, Wu Yadong1,2, Yang Wenchao3, Yang Fan4, Hou Jiaxin1, and Liao Jing1
1(SchoolofComputerScienceandTechnology,SouthwestUniversityofScienceandTechnology,Mianyang,Sichuan621010)2(SichuanCivil-militaryIntegrationInstitute,SouthwestUniversityofScienceandTechnology,Mianyang,Sichuan621010)3(CloudMindsChengduCo.,Ltd,Chengdu610100)4(LaboratoryofElectronic,ComputingandImagingSciences,FrenchNationalCentreforScientificResearch(LE2I-UMRCNRS6306) (UniversityofBurgundy),Dijon,France21078)
AbstractGesture interaction based on data glove is an important way to realize human computer interaction . The effect of gesture recognition and spatial positioning has an important influence on the immersion and experience of virtual environment interaction tasks. The complex structure of typical products lead to high complexity of modeling and gesture recognition algorithm，and it’s hard to balance the cost and efficiency.Aiming at the requirements of application,we come up with a design of data glove system which combines the sensor data with visual information in this paper. A rapid mapping that convert the finger’s curvature value to virtual hand joints position is realized by a hierarchical template matching method,which simplifies the process of gesture’s modeling and matching effectively. In order to obtain the spatial information for gesture interaction, an efficient feature-checking Hough algorithm is proposed to locate the data glove. We use the camera to capture the circular contour of the luminous ball on the glove and calculate it’s position in three-dimensional space, and use a modified Hough-Circle-Detection algorithm based on diameter equation to reduce the circular detection complexity. For continuous frame image, the credibility based feature-checking rule is adopted to improve the overall efficiency of the algorithm.This scheme was applied in immersive virtual reality experiment system for middle school. Experimental results show that the system is stable and has a good interactive experience.
Keywordsdata glove; gesture recognition; visual information fusion; human-computer interaction; feature-checking
This work was supported by the National Natural Science Foundation of China (61872304, 61802320, 61872066, 61502083), the Project of the Science and Technology Basic Condition Platform of Sichuan Province (2017TJPT0020), the Project of the Science and Technology of Sichuan Province (2017KZ0023), and the Open Fund of Sichuan Civil-military Integration Institute (JMRH01).
通信作者：吴亚东(wyd028@163.com)
基金项目：国家自然科学基金项目(61872304，61802320，61872066, 61502083);四川省科技基础条件平台项目(2017TJPT0020);四川省科技计划项目(2017KZ0023)；四川省军民融合研究院开放基金项目(JMRH01)
修回日期：2018-04-08
收稿日期：2017-11-28；
中图法分类号TP391
(wfp_2001@126.com)
WangFupan, born in 1979. PhD candidate. Lecturer, Member of CCF. His main research interests include embed system, human computer interaction.
WuYadong, born in 1979. PhD, professor, PhD supervisor. Senior member of CCF. His main research interests include visualization and visual analytics, virtual reality and human computer interaction, and computer vision.
YangWenchao，born in 1991. Master. His main research interests include virtual reality and human computer interaction.
YangFan, born in 1963. Full professor, PhD supervisor. Her main research interests include patterns recognition, neural network, multispectral imaging, parallelism and real-time implementation, and more specifically, biometric image processing: Algorithms and architectures.
HouJiaxin, born in 1994. Master candidate. Her main research interests include virtual reality, human computer interaction.
LiaoJing, born in 1978. Master, lecturer, Member of CCF. His main research interests include knowledge engineering and visualization.