基于视觉的手势识别方法及其在数字信号处理器上的实现
摘要:针对手势识别算法复杂度高、在嵌入式系统上运行效率低的问题,提出一种以定点运算为主的基于形状特征的手势识别方法。采用内部最大圆法和圆截法提取特征点,在手掌内部寻找一个最大圆来获取掌心坐标;同时根据指尖的几何特征,在手形边缘以画圆的方式获取指尖,从而得到手势的手指数、方向和掌心位置等特征信息;再对这些特征信息进行分类并识别。通过对算法进行改进,完成了在数字信号处理器(DSP)上的移植。实验证明该方法对于不同人的手具有适应性,适合在DSP上处理,与其他基于形状特征的手势识别算法相比,平均识别率提高了1.6%~8.6%,计算机对算法的处理速度提高了2%,因此所提算法有利于嵌入式手势识别系统的实现,为嵌入式手势识别系统打下基础。
关键词:手势识别;计算机视觉;数字信号处理器;嵌入式系统;定点运算
文献标志码:A
The existing gesture recognition algorithms perform inefficiently on the embedded devices for their high complexity. A shape featurebased algorithm with major fixedpoint arithmetic was proposed, which used the most significant internal circle algorithm and the circle cutting algorithm to obtain the features. This method could extract the center of a palm by finding the largest circle inside the palm, and could extract the finger tips by drawing circles at the edge of the hand. Finally gestures could be classified and recognized according to the feature information of the number of fingers, orientation and the position of the palm. This algorithm had been transplanted to Digital Signal Processor (DSP) by improving it. The experimental results show that the proposed method can adapt to different hands of different people and it is ideal for DSP. Compared with other shapebased algorithms, the average recognition rate has increased from 1.6%~8.6%, and the speed of the computer processing has increased by 2% by using this algorithm. Therefore, the proposed method facilitates the implementation of embedded gesture recognition systems and lays the foundation for the embedded gesture recognition system.
Key words: gesture recognition; computer vision; Digital Signal Processor (DSP); embedded system; fixedpoint arithmetic
0引言
随着计算机技术的发展,人机交互技术越来越成熟,人们希望能够以更自然的方式和计算机交流,其中肢体形态语言如手势、体势和表情等是人们常用的交流方式,而手势在人机交互中具有生动、形象和直观特点[1],因此基于机器视觉的手势识别技术应运而生。
目前基于机器视觉的静态手势识别算法大致可以分为基于数学特征和基于形状特征两类。基于数学特征的手势识别主要通过数学抽象的方式获取特征值,如:文献[2]提出基于改进神经网络的手势识别方法、文献[3]提出的基于平均邻域最大化的手势识别方法、文献[4]提出的基于Hu矩的手势识别方法等,这类方法是将手部的图像数据通过一系列数学方法映射到特征空间,与手势形状所包含的信息相比,这些方法可能得到更加丰富或者更加隐蔽的特征信息,其缺点是不直观,并且计算量一般都很大。而基于形状特征的手势识别方法比较直观,计算量也相对较小,这类方法在考察不同手势的形状特点之后,采用适当的数学处理提取其特征信息,而这些手势的形状特征又集中地表现在指尖上,如文献[5]和文献[6]提出的基于曲率的指尖检测,以及文献[7]提出的基于凸包指尖检测方法等。
由于基于数学特征的手势识别方法计算量太大,需要在PC(Personal Computer)上运行以保证其实时性,基于形状特征的方法虽然计算量相对较小,但是仍然包含大量浮点运算,如文献[5]和文献[6]的方法中采用的向量运算,以及文献[7]中的凸包和凸缺陷的计算,这些不适合以定点运算为主的嵌入式设备上运行。
本文针对以上问题,提出一种手势识别算法,以定点计算为主,使其能够在定点数字信号处理器(Digital Signal Processor, DSP)上获得较好的识别效果和实时性。
1基于形状特征的手势识别算法
本文的算法的主要思想也是以手掌的形状特征为基础,算法整体流程分为图像采集、手势分割、掌心提取、指尖提取、错误点消除和手势识别几个部分。
采集图像由摄像头完成,DSP从摄像头读取一帧图像之后放入同步动态随机存储器(Synchronous Dynamic Random Access Memory, SDRAM)缓存,便于后续处理。整个算法的目标是提取掌心坐标、手掌半径、手指数和手掌方向几个特征信息,这些信息有利于后续动态手势识别的实现。
1.1手势分割
手势分割的目的是将图像中的手势部位和背景分离开,在彩色摄像头的应用领域,一般采用肤色分割方式,在光照变化比较明显的情况下,YCbCr颜色空间RGB颜色空间的分割效果好[8],而且从电荷耦合元件(ChargeCoupled Device, CCD)摄像头能够直接获取YCbCr颜色数据,因此本文选择在YCbCr颜色空间中进行肤色分割,为简化运算,采用阈值分割方式。
经过肤色分割后,原始图像被转换成二值图像,用0表示背景区域,1表示肤色区域,如图1(a);一般来说背景产生的噪声在二值图像中多是面积较小的孤立的斑点,因此求取连通域,将连在一起的像素点标记在一起,如图1(b);挑选出其中面积最大的若干连通域(本文选取了4个)作为“目标”,并用矩形框对其“框选”,即计算这些目标的坐标范围,如图1(c)所示。
1.5手势识别
对所有PM向量的角度求平均值即得到手势的方向。本文将手势的方向在360°范围内进行16等分并编号。
手势的特征向量被定义为G(F,X,Y,R,A),其中:G表示手势特征向量;F∈[1,5]表示手指的数目;X,Y分别表示手掌中心在整个图像中的位置坐标;R表示手掌半径;A∈[0,15]表示经编号的手势的方向。通过对G进行分类就可以表示不同的静态手势,若研究G的动态规律即可进行动态手势的识别,本文仅对静态手势进行识别。
2DSP手势识别系统的搭建
DSP是一种专门为数字信号处理而设计的嵌入式处理器,具有特殊的硬件结构和指令系统以满足高速实时的信号处理。和ARM相比,DSP更适合专门用来处理图像。由于DSP属于嵌入式处理器,在主频上一般比同时期PC的中央处理器(CPU)要低,Nikhil等[10]利用DSP实现了对几个简单的静态手势的识别。为了提高DSP的处理速度,Fei等[12]采用多片DSP协作,实现了DSP在动态手势识别上的实时处理,不过同时也提高了开发成本。通过前面介绍的算法,希望能够在DSP上实现实时的静态手势的识别,为后期动态手势识别打下基础。
本文设计的DSP手势识别系统如图5所示。
表2可以看出:本文算法的平均识别率高于基于曲率[5]和凸包算法[7]的识别率,所得到的特征信息也足够多,这将带来更加丰富的人机交互体验;处理速度略高于基于凸包算法[7],但是DSP的最大特点就是可以通过优化代码使程序效率大幅提高,因此理论上本文算法在DSP上还能得到更高的处理速度。
4结语
本文的方法所提取的特征向量有利于在动态手势识别中实现手掌的旋转和平移动作,同时能够在DSP上运行,有利于整个系统的模块化。目前本设计还存在一些不足:现阶段的实时性还不能够满足动态手势识别;其次是图像分割效果不理想,在复杂背景下容易受到干扰。对于实时性,可以通过优化代码得到提高,这是DSP最重要的特性之一,图像分割则可以通过增加贝叶斯分类器等方法来解决,这也是下一步的工作目标。
参考文献:
[1]FENG Z, JIANG Y. A survey of hand gesture recognition [J]. Journal of University of Jinan: Natural Science, 2013, 27(4): 336-341.(冯志全,蒋彦.手势识别研究综述[J].济南大学学报:自然科学版,2013,27(4):336-341.)
[2]TAN C, XIAO N. Static hand gesture recognition based on improved RCE neural network and RBF neural network [J]. Computer Engineering and Applications, 2011, 47(7): 172-176.(谭昶,肖南峰.基于改进RCE和RBF神经网络的静态手势识别[J].计算机工程与应用,2011,47(7):172-176.)
[3]QIAN Z, LIU Z. Realising static gesture recognition with alternative covering algorithm [J]. Computer Applications and Software, 2013, 30(8): 127-165.(钱泽强,刘政怡.应用交叉覆盖算法实现静态手势识别[J].计算机应用与软件,2013,30(8):127-165.)
[4]LUO Y, XIE Y, ZHANG Y. Design and implementation of a gesturedriven system for intelligent wheelchairs based on the Kinect sensor [J]. Robot, 2012, 30(1): 110-119.(罗元,谢彧,张毅.基于Kinect传感器的智能轮椅手势控制系统的设计与实现[J].机器人,2012,30(1):110-119.)
[5]YUAN W, DONG Q. Hand shape verification method based on hand geometry feature [J]. Acta Optica Sinica, 2010, 30(10): 2994-2999.(苑玮琦,董茜.基于手部尺寸特征的手形认证方法[J].光学学报,2010,30(10):2994-2999.)
[6]LI B, LIN F. Fingertip detection method based on curvature [J]. Journal of Nanjing University of Aeronautics & Astronautics, 2012, 44(4): 587-591.(李博男,林凡.基于曲率的指尖检测方法[J].南京航空航天大学学报,2012,44(4):587-591.)
[7]WENG H, ZHAN Y. Visionbased hand gesture recognition with multiple cues [J]. Computer Engineering and Science, 2012, 34(2): 123-127.(翁汉良,战荫伟.基于视觉的多特征手势识别[J].计算机工程与科学,2012,34(2):123-127.)
[8]GUAN R, XU X, LUO Y, et al. A computer visionbased gesture detection and recognition technique [J]. Computer Applications and Software, 2013, 30(1): 155-164.(关然,徐向民,罗雅愉,等.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013,30(1):155-164.)
[9]LEE L K, AN S Y, OH S Y. Robust fingertip extraction with improved skin color segmentation for finger gesture recognition in humanrobot interaction [C]// Proceedings of the 2012 IEEE Congress on Evolutionary Computation. Piscataway, NJ: IEEE Press, 2012: 1-7.
[10]NIKHIL S, SAIMA M, RAMYA B, et al. Design and development of a DSP processor based reconfigurable hand gesture recognition system for real time applications [C]// Proceedings of the 2010 International Conference on Signal and Image Processing. Piscataway, NJ: IEEE Press, 2010: 39-44.
[11]YUAN W, MA X. Research on positioning methods of hand feature points [J]. Mechanical Engineering and Automation, 2012(6): 209-213.(苑玮琦,马学亮.手形特征点定位方法的研究[J].机械工程与自动化,2012(6):209-213.)
[12]FEI Q, LI X Q, WANG T, et al. Realtime hand gesture recognition system based on Q6455 DSP board [C]// GCIS09: Proceedings of the 2009 WRI Global Congress on Intelligent Systems. Piscataway, NJ: IEEE Press, 2009: 139-144.
作者:张毅 刘钰然 罗元
交警手势信号_交通警察手势信号记忆口诀 作者:[驾校一点通/首席编辑]来源:[本站]浏览:[3178364]评论:[18]
八种交通警察手势信号:
停止和靠边停车——手向上
直行——双臂直
左转——右手指向上
右转——左手指向上
变道——右手平动
减速慢行——右手斜动
左待转——左手斜动
================================
左手过头勿前行---停车信号
右手摆动靠边停---靠边停车
两手平伸右手摆
警察叔叔让直行---直行信号
掌心向前你别动
哪手摆动向哪行---左、右转弯信号
左手侧摆须待转---左转弯待转信号
右手横摆道变更---变道信号
变道安全很重要
右手下摆是慢行---慢行信号
作者:[驾校一点通/首席编辑]来源:[本站]浏览:[749851]评论:[3]
八种交通警察手势信号:
停止和靠边停车——手向上
直行——双臂直
左转——右手指向上
右转——左手指向上
变道——右手平动
减速慢行——右手斜动
左待转——左手斜动
================================
左手过头勿前行---停车信号
右手摆动靠边停---靠边停车
两手平伸右手摆
警察叔叔让直行---直行信号
掌心向前你别动
哪手摆动向哪行---左、右转弯信号
左手侧摆须待转---左转弯待转信号
右手横摆道变更---变道信号
变道安全很重要
右手下摆是慢行---慢行信号
吊二撤三醉五逃终生,这样就好理解了吧!
停止和靠边停车——手向上
直行——双臂直
左转——右手指向上
右转——左手指向上
变道——右手平动
减速慢行——右手斜动
左待转——左手斜动
================================
左手过头勿前行---停车信号
右手摆动靠边停---靠边停车
两手平伸右手摆
警察叔叔让直行---直行信号
掌心向前你别动
哪手摆动向哪行---左、右转弯信号
左手侧摆须待转---左转弯待转信号
右手横摆道变更---变道信号
变道安全很重要
右手下摆是慢行---慢行信号
交管区队
胡俊百
201291310019
我们的专业方向是交管,顾名思义,就是交通管理,也就是说,我们是学交通的。管理的是道路交通相关的各类问题。而交通手势,作为我们警察在道路上执法的工作方式,毋庸置疑,对于我们的重要性可想而知。我们在进入学校起就等待着学习手势相关的知识。在听到周四的下午我们将学习交通手势的时候,我们感到无比的兴奋和期待。
在课堂上我们学习了各种简单的交通手势,先是左右转弯,待转,停止,老师在口头教育的基础上,加上了教育示范,亲自穿上交警装备,在十字路口指挥起来。我们看着新鲜,也就跃跃欲试了,紧接着我们从一号到三十号依次试了一遍路口的交通手势,我们在教练一体的学习方法下,一点点的进步,直到完全的掌握,接下来,我们又一个个的接受了老师的考核,看见老师认可的眼神,我们就像得到了最好的鼓励一样,更加认真的学习了,在结束了路口的手势教学之后,我们来到了直行的道路上,学习了靠边停车,变更车道,减速慢行。程序依旧一样,我们也一样认真,在完成了这次学习之后的们都露出了满足的微笑。
在这次的课堂上我们学会了交通手势,而这也是作为交警最重要的一个技能,也是象征性的技能,我们第一次体验到了执法的感觉,当然,冰冻三尺非一日之寒,罗马也不是一天练成的,想要完全的熟练这套手势,必须经常性的练习,我们也将会在课余生活中熟练这项技能,当然我们也发现了执法当中的辛苦,在酷日炎炎下,要一遍一遍的指挥交通,确实是一件很累的工作,当然,我们选择了警察这个光荣的职业,我们也会接受这职业的试炼,将为人民服务贯彻到行动中,当前,交警队伍面临的形势十分严峻,道路交通安全管理任务非常艰巨,公安交警的责任十分重大。面临新形势、新挑战,我们开展教育整顿是改善公安交警队伍现状的必要手段,是提高公安交警队伍战斗力的重要举措,是完成好日益艰巨繁重的公安交通管理工作任务的客观需要。我们一定要坚决服从党的指挥,人民的希望,作一名人见人爱的好警察。
(一)停止信号 示意:不准前方车辆通行
左臂由前向上直伸与身体成135度,掌心向前 2.左臂垂直放下,恢复立与身体平行,五指并拢,面部及目光平视前方; 正姿势。
1.
(二)直行信号 示意:准许右方直行的车辆通行
1.左臂向左平伸与身体成2.右臂向右平伸与身体 3.右臂水平向左摆动与 4.右大臂不动,右小臂90度,掌心向前,五指并成90度,掌心向前,五身体成90度,小臂弯屈水平向右摆动与身体成拢,面部及目光同时转向指并拢,面部及目光同时至与大臂成90度,掌心90度,掌心向左,五指左方45度; 转向右方45度; 向内与左胸衣兜相对,小并拢;
臂与前胸平行,面部及 目光同时转向左方45度;
6.收右臂;
7.收左臂,面部及目光转向 前方,恢复立正姿势。 5.右小臂弯屈至与大臂成90 度,掌心向内与左胸衣兜相 对,与前胸平行,完成第二
次摆动;
(三)左转弯信号 示意:准许车辆左转弯,在不妨碍被放车辆通行的情况下可以调头
1.右臂向前平伸与身体成90度,掌心向前,手掌与手臂夹角
不低于60度,五指并拢,面部及目光同时转向左方45度;
2.左臂与手掌平直向右前方摆动,手臂与身体成45度,掌心 向右,中指尖至上衣中缝,高度至上衣最下面一个纽扣;
3.左臂回位至不超过裤缝,面部及目光保持目视左方45度, 完成第一次摆动;
4.重复(2)动作;
5.重复(3)动作;完成第二次
摆动
6.收右臂,面部及目光转向
(四)左转弯待转信号 示意:准许左方左转弯的车辆进入路口,沿左转弯行驶方向靠近路口中心,等候左转弯信号.
1.左臂向左平伸与身体成45度,掌心向下,五指并拢,面部 及目光同时转向左方45度;
3.重复(1)动作;
5.收左臂,面部及目光转向 前方,恢复立正姿势。
2.左臂与手掌平直向下方摆动,手臂与身体成15度,面部及
目光保持目视左方45度,完成第一次摆动;
4.重复(2)动作,完成第二次摆动;
(五)右转弯信号 示意:准许右方的车辆右转弯
1.左臂向前平伸与身体成90度,掌心向前,手掌与手臂夹角
不低于60度,五指并拢,面部及目光同时转向右方45度;
2.右臂与手掌平直向左前方摆动,手臂与身体成45度,掌心 向左,中指尖至上衣中缝,高度至上衣最下面一个纽扣;
3.右臂回位至不超过裤缝,面部及目光保持目视右方45度,
完成第一次摆动;
4.重复(2)动作;
5.重复(3)动作;完成第二次摆动;
6.收左臂,面部及目光转向 前方,恢复立正姿势。
(六)变道信号 示意:车辆腾空指定的车道,减速慢行
1.面向来车方向,右臂向前平伸与身体成90度,掌心向左,
五指并拢,面部及目光平视前方;
2.右臂向左水平摆动与身体成45度,完成第一次摆动;
3.恢复至(1)动作;
4.重复(2)动作,完成第二次摆动;
5.收右臂,回复立正姿势。
(七)减速慢行信号 示意:车辆减速慢行
1.右臂向右前方平伸,与肩平行,与身体成135度,掌心向
下,五指并拢,面部及目光同时转向右方45度;
2.右臂与手掌平直向下方摆动,手臂与身体成45度,面部及
目光保持目视右方45度,完成第一次摆动;
3.重复(1)动作;
4.重复(2)动作,完成第二次摆动;
5.收右臂,面部及目光转向前
方,恢复立正姿势。
(八)示意车辆靠边停车信号 示意:车辆靠边停车
1.面向来车方向,右臂前伸与身体成45度,掌心向左,五指
2.左臂由前向上伸直与身体成135度,掌心向前与身体平行,
并拢,面部及目光平视前方;
五指并拢;
3.右臂向左水平摆动与身体成45度,完成第一次摆动;
4.右臂恢复至(1)动作;
5.重复(3)动作,完成第二次摆动;
6.右臂恢复至(1)动作; 7.双臂同时放下,恢复立正姿势。
停止,特别简单就是直直抬左臂;
直行,先是两胳膊张开,右手弯曲胸前允许右直行通过;两手成0度
左转右转都是两只手的,以上一下,向右摆动的下手向左转,反向递推;两手成45度
左待转就是左手上下摆动从45度到30度 变更车道,右手水平摆动;像扇风一样
减速慢行就是右手上下摆动;掌心向下,像叮嘱小孩 靠边停车,两只手,成K型。
推荐阅读:
交通车辆指挥手势教案09-08
拓展感想-交通警察06-29
遵守交通信号 安全文明出行主题升旗仪式09-19
交通警察在事故现场勘查的义务05-27
公安局交通警察大队行政执法依据09-09
中国的警察05-26
年终总结警察06-20
警察媒介素养10-17
山东警察学院刑法06-16
新警察故事07-05