基于移动终端的汉语手语识别技术研究

随着计算机技术和通信技术的迅速发展, 多模式人机交互技术研究也有很大进展。手语识别作为多模式人机交互技术的重要研究方向, 其主要目标是使特殊用户 (例如聋哑人) 可以用更加方便、自然和符合其生理特点的方式来使用计算机、手机等现代化信息设备。总之, 手语识别的研究和实现不仅是一门有价值的研究课题, 而且具有更加广泛的社会意义和实际应用前景。

目前这种方法对图像的亮度、缩放、平移、旋转具有不变性, 具有很高的识别率, 而且识别快速、方便。其缺点在于只能处理静态的单个的手语图像。但相比以前的电脑平台下的手语识别, 这种方法更加的方便, 用很广阔的前景。

据国外媒体报道, 美国华盛顿大学的工程师正在测试一款名为MobileASL的工具, 这款工具能利用运动感知技术去识别美国手语, 并通过手机发送图像。这是目前唯一可查的研究手语识别技术在移动终端应用的项目。

1 手语识别建模与实现

通过移动终端 (这里主要指手机) 获取一幅待测图片, 经过预处理后提取图像轮廓填充图形作为特征参数, 将特征参数与标准库进行对比, 从而识别出改图片对应的手语含义。原理与模型如图1所示。

通过手机获取26张“A-Z”标准手语手势的图片, 针对每张图片我们采取以下处理步骤, 以建立标准库:获取图片→灰度处理→图像裁剪。

本文采用canny算子进行边缘提取。Canny算子是一个具有滤波、增强、检测的多阶段的优化算子, 在进行处理前, Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声, Canny分割算法采用一阶偏导的有限差分来计算梯度幅值和方向, 在处理过程中, Canny算子还将经过一个非极大值抑制的过程, 最后Canny算子还采用两个阈值来连接边缘。

对提取的图像边缘进行填充, 得到图像边缘轮廓填充图形。将待测图像的填充图形在旋转-15°~+15°条件下与标准库参数进行对比, 以得到的相关系数最大的角度下的图像作为识别结果。这样就能解决因图像旋转而造成的识别错误的问题。弥补了边缘方向角直方图参对数旋转敏感的不足。

2 仿真实验结果与分析

根据上面所述方法, 文中采用如图所示的手语识别系统进行实验。实验以白色为背景, 用数码相机采集手语的手势图片, 采用不同的光照, 拍摄了26种不同手势, 将待识别的手语图片建立了一个小型的静态手语库, 图像大小归一化为512×512, 其中一部分作为训练使用。

通过以上的实验我们得出, 在手机环境下手语的识别是可以实现的。在对26个英文字母的手势的测验中, 19张手语手势可以识别为最相似目标, 5张手语手势可以识别为次相似目标, 2张手语手势不可以识别, 识别率为92.31%。与以往的手语识别方法相比较, 这种方法更加的方便, 简单。但与此同时, 这种方法也有其自身的缺点, 它只适用于静态的, 单个的手语手势。

3 结语

文中的创新点是结合采用图像边缘轮廓图形这个特征参数进行静态手语识别。图像边缘轮廓图形的特点是对图像旋转不敏感。该方法计算简单、快速、识别率高。本文的另一个创新点是基于移动终端的手语识别。充分利用了3G手机的极高的数据传输速率的特点, 以及支持多媒体通信的优势, 因而该技术具有潜在的巨大的现实意义。

摘要：文中使用图像轮廓填充图形作为手语手势的特征参数进行静态手语识别。关键是提取出图像边缘轮廓, 并做出轮廓填充图形, 根据这个特征参数对待测图像进行手语手势的特征匹配。该方法对图像亮度、缩放、平移、旋转具有不变性, 而且该方法计算简单、快速, 可以用于基于移动终端 (Android手机操作系统平台下) 的手语识别系统。

关键词：手语识别,图像轮廓匹配,移动终端

参考文献

[1] 郭彩龙.中国静态手语识别的研究[D].硕士论文, 西安建筑科技大学, 2009.

[2] 翟俊海, 赵文秀, 王熙照.图像特征提取研究[D].河北大学, 2009, 1.

[3] Von Agris U, Zieren J, Canzler U, etal.Recent developments in visual sign language recognition[J].Universal Access in the Information Society, 2008, 6 (4) :323～362.

[4] 胡友树.手势识别技术综述[J].中国科技信息, 2005 (2) :42.

[5] 张良国, 高文, 陈熙霖, 等.面向中等词汇量的中国手语视觉识别系统[J].计算机研究与发展, 2006, 43 (3) :476-4 8 2.

[6] Yiqiang Chen, Wen Gao, ChangshuiYang, Dalong Jiang, Multi-Model Be-havior Synchronizing Prosody Modelin Sign Language Synthesis.ChineseJournal of Computers, 2006 (5) .

[7] Desmond E.van Wyk, James Connan.High Quality Flexible H-Anim Handsfor Sign Language Visualisation[J].

[8] 姜华强, 潘红.基于关键帧的多级分类手语识别研究[J].计算机应用研究, Jan.2010, 27 (2) :491-493.