手语的介绍（精选9篇）
手语翻译与电视新闻手语翻译
手语是聋人的语言。手语翻译则是指把聋人使用的手语的意义用听人社会的有声语言表达出来, 或把听人社会的有声语言用手语表达出来, 有时, 是把一种手语 (如中国手语) 的意义用另一种手语 (如美国手语) 表达出来的过程。[2]电视新闻手语翻译是指在电视新闻播出过程中, 由手语翻译人员把新闻主持人传播的内容, 用手语的表达方式同时通过电视传播出去的过程。电视新闻手语翻译的主要作用是通过手语传递新闻信息, 服务对象主要是聋人群体。
电视新闻手语翻译的社会作用
有力地促进了聋人沟通无障碍环境的建设。电视已经成为人民群众日常生活中最重要的良师益友, 它是党和政府的喉舌, 在引导社会舆论方面承担的责任更加艰巨。电视在构建和谐社会中的作用越来越显著, 越来越迅速有效, 越来越具有影响力和公信力。[3]聋人群体由于听力障碍无法通过有声语言获取信息, 但是他们同样需要获取信息, 需要在党和政府的关怀引导下获得发展。在我国建立和谐社会的进程中, 为聋人群体创建无障碍沟通环境, 是落实科学发展观、构建社会主义和谐社会的一项重要任务, 是社会进步、经济发展和城市建设的需要, 也是方便聋人群体、服务于全社会的民生工程。电视新闻手语翻译不仅能够将国家的意志和社会发展的信息及时传递给聋人群体, 同时, 熟知聋人发展需求的手语翻译专业人员还能够及时把聋人群体的内心需求传达给媒体和社会, 不断提高聋人信息获取需要的满足度, 促进聋人沟通无障碍环境的建设。
是促进聋人群体和听人群体和谐相处的重要途径。聋人群体和听人群体由于语言、沟通方式、信息获取途径等方面不同, 所以两个群体之间的思维方式、行为方式也存在着差异, 由于两个群体间的沟通渠道不畅, 使两个群体之间的矛盾和误会不断产生或加深。随着电视新闻手语翻译信息传递能力的提高, 聋人获取有效信息的质量也随之提高, 这一变化一定程度上改善了两个群体的关系, 促进了社会的和谐。比如, 2005年的春节联欢晚会, 21个聋人姑娘出演大型舞蹈《千手观音》;2008年9月10日, 胡锦涛总书记看望郑州市盲聋哑学校师生;残奥会倡导“超越、融合、共享”的理念, 这些都是鼓励残疾人自强不息、积极面对人生、全面融入社会等信息的传播, 使广大聋人朋友深受鼓舞, 同时也在不断优化着聋人群体的社会认知能力, 改善着聋、听两个群体的关系。其中, 电视新闻手语翻译在促进这一特殊群体发展的过程中发挥了积极的作用。
是社会文明进步的具体体现。20世纪80年代以来, 美国、英国、加拿大、瑞典、挪威、丹麦、日本等发达国家陆续将手语作为一种独立的语言纳入国家教育体系, 美国、英国、澳大利亚等国家建立了一套比较完整的关于手语翻译的培训、测试和鉴定体系, 有的国家还成立了国家级手语翻译机构。[4]电视、网络手语节目十分丰富, 不仅有手语新闻、还有手语学习与交流、手语歌曲、舞蹈、综艺表演等节目。这些节目的信息传播, 不仅促进了聋人群体的快速发展, 同时也有助于社会认识了解聋人, 逐步了解手语、学习手语, 促进社会和谐发展。在手语翻译的帮助下, 聋人参与社会的深度和广度都在不断增加, 获得发展的聋人在社会的各个领域中创造着社会财富, 成了社会发展的建设者。
在党的十六届四中全会上, 我们党第一次提出了构建社会主义和谐社会的奋斗目标。毋庸置疑, 新闻媒体在构建社会主义和谐社会中扮演着极为重要的角色, 它是民主法治的推动者、公平正义和诚信友爱的体现者、安定有序氛围的创造者、人与自然和谐相处观念的传播者。[5]在构建和谐社会的进程中, 聋人作为社会中一个不可忽视的特殊群体, 能够通过电视新闻手语翻译及时了解国家大政方针、党和政府及社会给予的人文关怀、社会发展新动向、国民生活变化等方面的知识信息, 不仅会为聋人群体发展带来强大动力, 同时也是聋人群体实现真正意义上的“平等、参与、共享”的具体体现, 这一群体能够及时、高效、平等地获得新闻信息, 是社会文明进步的重要体现。
有利于手语职业的发展。2007年1月11日, 劳动和社会保障部在上海召开第八批新职业发布会, 正式向社会发布了10个新职业, 手语翻译员是这一次公布的新职业之一。[6]这次新职业公布以后, 一些地区电视新闻手语翻译开始由兼职向专职人员发展, 翻译人员不仅承担翻译任务, 还开始通过电视节目进行手语推广。比如, 河南电视台新闻频道在每天下午4∶30播出的新闻节目中, 手语翻译除了将新闻内容翻译成手语, 并通过电视传播出去以外, 每天还在节目片尾播放一些日常手语词汇。再如, 湖北电视台还为聋人群体开办了“手语电视天气预报节目”, 这一节目也在片头或片尾加播“每日一句日常手语”等。[7]这些节目的改革与创新, 不仅唤起了社会对手语的学习兴趣, 同时也由于电视新闻影响力巨大, 有力促进了手语翻译职业的发展。近年来, 我国高校手语翻译专业不断发展, 2004年以来, 先后有3所高校开办了手语翻译专业, 专业手语翻译陆续在国家公务员系统、各级各类学校、电视台、残疾人工作领域、残疾人集中就业领域等出现, 这些岗位均是顺应社会发展而出现的, 专职手语翻译职业的出现, 将大大促进手语翻译质量的快速提高。
电视新闻手语翻译存在的问题
综上所述, 电视新闻手语翻译在新闻媒体传播过程中发挥了非常重要的作用, 但是, 由于各地社会经济发展的不平衡和观念的差异, 加之这一职业还处于起步阶段, 所以, 电视新闻手语翻译在传播信息过程中还存在一些不可忽视的问题。
手语翻译人员专业化程度不够。当前, 有很多人还这样认为:聋校教师就可以做手语翻译。之所以存在这样的认识误区, 主要是忽略了手语的语言特性。不仅许多发达国家早已以法律的形式确立了手语语言地位, 我国也日益接受手语是聋人语言的说法, 如果承认它是一门语言, 那么从事语言翻译的工作者一定要接受专业翻译训练才能胜任工作, 手语翻译也不例外。我国目前多数地区的电视手语翻译是由聋校教师兼职, 聋校教育和手语翻译职业及电视媒体传播之间均有着很大的职业跨度, 要实现准确、高效、完整的信息传播, 对于聋校教师来说是十分困难的。所以, 要实现真正意义上的聋人沟通无障碍, 需要培养专门人才。
社会对手语翻译劳动的复杂程度认识不足。我国对手语翻译人员的需求很大, 但通过资格认证、受过专业教育的手语翻译人员非常少, 远远不能满足我国聋人发展的需求。目前, 我国手语翻译专职人员很少, 所以, 多数电视新闻手语翻译者是由聋校教师兼职的, 甚至一些手语翻译人员做的是无偿服务。殊不知, 手语翻译是集语言理解、信息记忆、语言转换、语言产出于一体的复杂认知活动, 需要扎实的口语和手语功底。[8]当然, 作为电视新闻手语翻译人员, 还应具有一定的传媒专业相关知识, 才能有效地进行信息传播。
手语翻译人员的劳动报酬不够合理。2010年8月, 中州大学手语翻译专业对分布在全国20多个地区的108名手语翻译人员进行调查发现, 50%的手语翻译人员属无偿服务, 30%的手语翻译人员对获取的报酬不够满意, 只有20%的手语翻译人员对自己获取的报酬比较满意。手语翻译是集脑力劳动和体力劳动于一身的复杂劳动, 在一定程度上比口语语言之间的翻译劳动强度更大, 理应获取合理报酬。
对策与建议
政府应加大对手语翻译教育的投入。借鉴发达国家经验, 由于手语翻译的服务对象属于聋人这一弱势群体, 这一群体的生存状况和社会文明程度密切相关, 在我国政治经济快速发展, 社会文明进程加速的今天, 政府及相关部门应将手语翻译人员的培养与培训及服务费用纳入财政预算。
重视电视新闻手语翻译的任职资格。既然电视新闻手语翻译对聋人群体、对社会发展有着十分重要的意义, 所以严格手语翻译职业资格, 保证信息传播质量具有同等重要的意义。随着我国高校手语翻译专业的发展, 专业人员数量和质量都将不断增加, 逐步完善手语翻译职业标准, 确保聋人获取丰富、准确信息的合法权利, 不断提高聋人获取信息的无障碍程度, 促进聋人群体健康发展、促进社会和谐既是高校的责任, 也是全社会的责任。
充分认识手语翻译的劳动价值, 规范报酬标准。目前, 国内各地电视台所聘用的电视新闻手语翻译报酬标准缺少依据, 不同地区或同一地区不同单位存在较大的差异。为鼓励更多优秀人才走进这一职业, 确保翻译质量, 建议政府协同行业组织专业队伍, 借鉴国内外先进经验, 通过科学论证, 依据职业实际, 尽快制定标准, 规范劳动报酬。
结语
聋人群体是我国社会不可忽视的组成部分, 与全体社会成员共享社会发展的文明成果、获取新闻信息是党和政府的一贯方针, 也是聋人群体的基本权利, 电视新闻手语翻译的数量和质量是聋人群体获取信息量的重要保证, 加强电视新闻手语翻译队伍建设, 保证新闻信息及时、准确传送给聋人群体是我国社会文明和谐发展的需要, 愿政府、社会、传媒行业共同努力, 为实现真正意义上的聋人沟通无障碍做出应有的努力。
参考文献
[1]中国残疾人联合会教育就业部, 中国聋人协会.中国手语[M].华夏出版社, 序言首页.
[2]张宁生.手语翻译概论[M].郑州大学出版社, 2009∶1-2.
[3]陈力丹.在构建和谐社会中传媒的责任与作用[J].声屏世界, 2006 (3) .
[4]国家劳动和社会保障部对“手语翻译员”情况的描述[EB/OL].聋人教育网, (2007-01-25) [2012-01-10]http://www.deafedu.com/bbs/read.php?tid=30720.
[5]孟娇燕.电视新闻媒体在构建和谐社会中的作用[EB/OL].人民网—传媒频道 (2008-11-13) [2012-01-10]http://media.people.com.cn/GB/40628/8335095.html
[6]权威解读:国家劳动和社会保障部第八批新职业[N].大连日报, 2007-01-15.
[7]刘立成.试论开办手语电视天气预报节目的科学传播意义及现实方式[EB/OL].人民网传媒专题 (2006-11-14) [2012-01-10]http://media.people.com.cn/GB/22114/73900/73902/5036435.html
母亲患了老年性痴呆症，每次我去看望她，她居然一次也未认出我是她的儿子，我心里非常难受。母亲是一个充满爱心的人，她和父亲感情甚笃，多少年来，他们一道外出时总是手牵着手，毫不掩饰自己给对方的爱。
虽然母亲记不得我了，但每次我走进她的病房，坐在她的身边，她总会慈爱地问我：“你好，告诉我，你叫什么名字?”我则会自豪地大声回答：“我是你的儿子!”她就快乐地笑着，伸出手来拉我的手。我真希望现在还能重新体验她的爱抚。
有一天，我再次走进母亲的病房，坐在她的身边，但她什么也没有问，因为母亲年老体弱，疾病缠身，快不行了。我默默地拉住母亲的手，想通过这样神圣的接触传递我的爱。静穆中，我仿佛感到爱在我们之间流淌，尽管母亲不知道是谁拉着她的手或者是她拉着谁的手。
大约10分钟以后，母亲的手有了动静，在我的手上轻轻捏了一下，然后又一下，共三下!这似乎是很平常的动作，却让我立即意识到她要表达的意思。
这是许多年以前母亲和父亲谈恋爱时发明的“爱情语言”。当她在不便讲话的地方要向父亲传达“我爱你”的信息时，就会握住父亲的手捏三下，然后父亲也会捏捏她的手，共四下，意思是“我也爱你”。
我试着在她手上轻轻捏了四下，她转过头，一丝充满爱意的微笑像一缕轻风滑过了她的唇边，也从此在我心里留下了难忘的回忆。
这个表情其实我是熟悉的，但过去没有给它太多的珍视。母亲对父亲、对家人、对朋友，总是会绽放出这样充满爱意的笑。只是从那以后，这个笑才永远荡漾在我的心中，并且影响着我的生活，丰富了我的人生。
静静地又是10分钟过去了，我们还是谁也没有言语。
蓦然，她转过身对着我，说了一句话，声音虽小却清清楚楚：“有人爱着多好啊!”
我泪眼模糊，这是快乐的泪花。我俯身给了母亲一个最温柔的拥抱，告诉妈妈我是多么地爱她。
从识别方法上看,目前主要采用的是隐马尔可夫模型(HMM)、模板匹配方法及神经网络方法。哈尔滨工业大学的吴江琴、高文等给出了ANN与HMM的混合方法作为手语的训练识别方法,以增加识别方法的分类特性和减少模型的估计参数。将ANN-HMM混合方法应用于有18个传感器的cyberglove型号数据手套的中国手语识别系统中,孤立词识别率为90%,简单语句识别率为92%[2]。高文等又选取Cyberglove型号数据手套作为手语输入设备,并采用了DGMM作为系统的识别技术,可识别中国手语字典中274个词条,识别率为98.2%.综合以上文献发现,传感器越多,可以提高识别率,但从舒适度和实用性等方面考虑却略显不足,因此本文研究只用5个传感器基于单手手语的识别,结果表明,只用5个传感器对于简单数字的识别也可以达到较高的识别率。
1数据采集与处理
1.1基于加速度传感器的数据采集与保存。根据手语识别中的加速度采集的要求,本文采用ADXL345加速度传感器作为手语加速度数据的采集源,采用ARM Contex微处理器作为平台,分别绑在五个手指上,随着手指的运动,加速度传感器开始采集数据,并通过sscom32串口,将数据传输到电脑中,保存为txt格式。
1.2加速度数据预处理。由于加速度传感器本身的技术,制造工艺,材料,以及个人身体抖动和环境因素,加速度传感器采集的数据中,伴随着许多随机误差和干扰。这些误差会严重干扰基于加速度的手势识别精度和难度。因此,有必要在数据进行正式处理之前,对采集的加速度数据预处理,包括跳点去除、平滑滤波、特征提取等,实现加速度信息的有效提取和高效压缩,有效解决在传统的手势识别算法中计算量过大的问题。为了准确判断用户何时开始以及何时结束手语动作,减小实验误差。本文统一规定五个手指竖直向上的静止状态作为手语动作的开始状态和结束状态。
1.2.1去除跳点。由于加速度传感器本身的原理、材料和制作工艺等方面的缺陷,以及周围环境的影响,会导致加速度传感器采集到的数据会有跳跃性较大的加速度值,可以称之为跳点。这些跳点的存在,对加速度特征的提取可能会有一定的影响,并最终导致手势识别的误差增加。本文有一种比较前后增量变化量的方法,对加速度数据中的跳点进行过滤。
假设t-1时刻读取到加速度数据为D(t-1),t时刻读取到加速度数据为D(t),t+1时刻读取到加速度数据为D(t+1)。首先要获取变化幅度,计算相邻两个时刻的加速度增量,即D(t,t-1)=D(t)-D(t-1),D(t+1,t)=D(t+1)-D(t).在跳跃性比较大的点,总有两个相邻的增量,一个急剧增大,一个急剧减小,即如果D(t,t-1)和D(t+1,t)符号相反,并且两个增量的绝对值均超过给定阈值M,则认为t时刻的加速度值D(t)为跳点,然后用前后两点的加速度值的平均值来代替此点的加速度值。以此类推,就可以将整个手势动作的加速度序列中的所有跳点去除。
1.2.2加速度数据的平滑处理。由于人体手臂的抖动,身体的摆动以及周围环境的晃动,采集到的加速度数据会有很多的随机干扰数据,需要对加速度数据进行平滑滤波处理。噪声的存在,会加大提取特征值的难度,同时,也会降低手语识别的准确度。因此需要对加速度数据进行平滑处理。本文对滑动均值滤波和中值滤波作比较,最后采用中值滤波算法进行平滑去噪,前后数据对比如图1。
2 BP神经网络手语识别
本文采用BP神经网络模型进行手势动作的识别,识别过程如图2。
本项目采用的三层神经网络,隐含层的神经元的个数分别为(25,9,12)。传递函数采用了多次尝试修改之后最终选定了每层的传递函分别为('logsig','tansig','purelin'),数据的拟合度可以达到97.312%,这是一个很不错的结果,。
2.1训练效果的实际性检验(表2)。
2.2结果分析。在数据训练识别中,由于数字9和数字0的识别中,由于数字0的手势识五个手指全部握住,而在数字求的识别中,手语动作识食指只是一个弧度,没有彻底握住,导致了数字9和数字0的识别率较低。这一问题有待于以后的提高。
摘要：本文用ADXL345加速度传感器作采集单手手语数据,再提取手语动作的的特征提取方法,最后通过BP神经网络对手语动作进行训练和识别,结果表明对于0-9等10个阿拉伯数字的平均识别率为88%,为实现手语动作的人机交互提供了参考。
关键词：手语识别,特征提取,BP神经网络
参考文献
[1]戴俊.基于图像高阶NMI值的手势识别算法研究[D].上海:上海海事大学,2004,5.
[2]吴江琴.基于DGMM的中国手语识别系统[J].计算机研究与发展,2000,5.
[3]张宏林.材料数字图像模式识别技术及工程实践[M].2003年2月第1版.北京人民邮电出版社,2003:1-5.
[4]杨全.基于7Hu不变矩特征量的中国手指语字母识别算法[D].西安:西安建筑科技大学,2007,5.
[5]邹伟.一种中国手语单手词汇识别系统[J].系统仿真学报,2003,2.
沈鲤在公交车站等车，一旁用手语交流的一男一女两个年轻人吸引了她的视线。读大学时，沈鲤当过3年的志愿者，定期去聋哑学校服务，她能熟练地用手语交流。她看出，女青年是在问路，她想去三峡学院，而男青年用手语说他不知道。一向乐于助人的沈鲤连忙跑过去，用手语告诉二人。女青年却用手语和沈鲤聊起天来。
出于对残疾人朋友的友好，上车前，沈鲤留下了自己的手机号码和电子邮箱。第二天，沈鲤意外地收到了男青年的电子邮件。他叫颜歌，在一家物业公司工作，父母都在外地，他一个人住在渝东花园小区。
沈鲤很认真地回复了邮件，介绍了自己的基本情况，她还鼓励颜歌好好工作。后来，两个人就开始在QQ上聊天。除了网上聊天，颜歌还偶尔约沈鲤出来走走，地点是沈鲤家附近的西山公园。虽然总是用手语交谈，但是沈鲤丝毫不觉得沟通有障碍。
可是渐渐地，沈鲤发现自己喜欢上了颜歌。而颜歌显然也很喜欢她，可他不是一个健全的人，他永远只能用手比画“我爱你”。沈鲤在网上碰见网友就问：“你会喜欢一个哑巴吗？”没有一个网友给出肯定的答案，沈鲤更加难过了。颜歌似乎也察觉到了她的异常，但对沈鲤依然关心体贴。
转眼过了元旦，一天晚上，颜歌约沈鲤出来。这天，他居然捧着一束玫瑰，憋红了脸，认真地用手比画：“你愿意做我的女朋友吗？”沈鲤既惊讶又惊喜，可随之而来的是矛盾的心情。她请求颜歌给她两个月的时间，她要用这两个月去说服父母，去争取朋友的理解。不出沈鲤所料，父母得知此事后大发脾气，看她态度坚决后又动员了家中其他长辈轮番当说客。沈鲤告诉他们：“他很优秀，他非常乐观，生活和工作的态度都很积极，凡事总为别人着想，比很多正常人强上百倍。聋哑人也是人，也应该拥有美好的爱情。”一段时间过去，家人不再激烈反对，要求先见见这个小伙子。
一天傍晚，心情忐忑的沈鲤带着颜歌回家。公交车上，颜歌特别开心，他用手比画着：“放心吧，你爸爸妈妈一定会喜欢我的，我会告诉他们，我要好好照顾你一辈子。”沈鲤感动得几乎要流下眼泪。一进家门，沈鲤告诉父母：“这就是颜歌……”没想到，话音刚落，她做梦也想不到的事情发生了，颜歌扔下手中的礼品，紧紧抱住沈鲤说：“你会说话？”而这句话，也正是此时沈鲤想问颜歌的。在场的人全惊呆了，足足愣了幾分钟，沈鲤突然喜极而泣。原来，颜歌也一直以为她是聋哑人，但他还是深深地爱着她。
颜歌会手语，是因为他母亲是名聋哑人。此时沈鲤觉得自己是这世界上最幸运的人，他们的爱情是那么伟大，不掺一点儿杂质。所谓爱，其实就是人世间善良的人对赐予他们快乐的人表示的热烈的感激。
游保民摘自《每日新报》
关键词 手语 手读 阅读方式 独特手段
聋校语文教师都知道，聋生在学习语文的过程中，语音（或文字）与语义脱节的现象是非常严重的，而且他们最缺乏的就是语言实践的环境和机会。聋哑学生不能像普通孩子一样声情并茂地吟诵课文，但是在教师的引领下，他们能用一双灵巧的手流畅地交流，完美地诠释文本，这就是“手读”——用手语说，用手语读。手读是一种在聋校语文课堂教学中建立的基于生本理念的适合聋生学语习文的阅读方式和独特手段。
一、还手语以应有的语言地位，让手语之花自由绽放在聋校语文课堂
手语到底是不是语言？在聋教育界历来纷争不断。其实，就聋校课堂的教学实际来看，这个实在没有争论的必要。在课堂上无论是教师与学生，还是学生与学生的沟通与对话，都是基于手语这个主流手段的。新课程标准强调以人为本，在聋校语文课堂教学中，还手语以应有的语言地位就是以人为本理念的极好体现。聋校语文课堂教学的主体是聋生。他们的显著特点是听力障碍，他们不能像正常孩子那样声情并茂地朗读课文，作为教师不能，也不应该无视这个现实。还手语以应有的语言地位主要包括这样三个方面：
1.规范师生运用的手语，构建顺畅的沟通渠道。
《关怀》的教学片断——师：“周总理工作那么忙，还抽出时间来我们这所学校视察，并且和我们一起听课，说明了周总理非常关怀我们。请同学们伸出右手食指，和老师一起写课题。”师生写课题：《关怀》。师：“我们一起读一遍课题。”（生读）师：“谁知道‘关怀’的手语？”生A先打“关门”的手语，再一手食指指点胸部。师：“还有谁会‘关怀’的手语？”生B打出正确的手语。师：“同学们想一想，关怀的‘关’是‘关门’的意思吗？”帮助A生纠正手语。师生一起打手语。师：“是的，心中有他人，心中有爱，就是‘关怀’。谁能上来画一画？”生：“画一个‘心’图案。”师：“课文中，说的是谁的心里有谁呢？”
细心查看，就会发现学生的手语存在着许多不规范的地方，如果不及时纠正，长此以往不但会影响学生对词语内涵的准确把握，而且会严重阻碍师生和生生之间的沟通与对话。这是手读教学策略得以保证的最基础的工作。我们一定要在教学中落实到位。
2.恰当使用手语，逐步做到正确、流畅、富有表情。
《老鹰风筝》的教学片断——师：“图上画的是什么？谁能正确地说一说。”生A：“打手语‘老鹰风筝’。”（非常可爱地模仿着动作）师：“请你把句子说完整，好吗？”生A：“打手语，图上画的是老鹰风筝。”师：“好，我们一起来流畅地说一说。”师生流畅地说句子。师：“老鹰风筝飞得怎么样啊？”学生相继说句子，教师指导从正确地手语表达到流畅地手语表达。
手读课文的时候，也要有一个循序渐进的过程。有意识地引导学生落实一个一个手语，在基本做到正确手读的基础上逐步引导学生能流畅地手读，最终做到富有表情地手读句子。
3.手语和书面语相得益彰，充分落实写的训练。
《富饶的西沙群岛》的教学片断——师：“谁能在课文中找出‘成群结队’这个词语？把句子画出来。”生A找出句子。师生齐读。师：“‘成群结队’是什么样子的？生活中你看到过哪些动物成群结队的？”学生议论。师出示一些动物成群结队的画面，帮助学生领悟词语，并要求学生写在练习本上。
聋生学习语文有这样一种情形，有时候手势表达得非常好，可是落实到书面语上却出现许多问题。因此一定要落实好读和写，真正做到“以读为主，读写结合”。
二、回归课堂以本真的面目，弯下身子体察聋哑学生的举手投足
我们呼唤聋校语文课堂的返璞归真：在课堂的每个环节让学生们自由地舞动起他们的小手，让整个语文课堂洋溢着美妙的手语氛围：一是善于营造手语情境，是手读教学策略得以落实的保证。二是发挥学生的主体性，是手读教学策略得以落实的灵魂。三是理直气壮地教，是手读教学策略得以可持续贯彻的正确选择。
《望庐山瀑布》的教学片断。师：“同学们不理解‘挂前川’，那‘川’能说说是什么意思吗？”生有不同的“说”法。师：“那先来看看老师画一画‘川’吧。”师：“你们觉得像什么啊？”生：“像河。”师：“是啊，‘川’的意思就是‘河’。那‘挂前川’我们应该怎样把这平淌的河流悬挂起来呢？”生竖画“川”。师：“这是真正的河流吗？”生：“不是的，是瀑布像河流挂在了山前。”
低分辨率图像识别是在分辨率低于320×240图像数据中进行自动目标内容识别的过程。该类图像中目标内容尺寸占整个图像像素10%以下,并伴有一定噪声和运动模糊
与高分辨率图像识别系统相比,低分辨率图像识别系统需要克服图像信息量小、噪声多、较少的可利用方法与工具等特殊难点。传统基于高分辨率图像识别算法直接应用于低分辨率图像中性能大多不理想。目前基于低分辨率图像识别方法有:1)超分辨率增强。首先对低分辨率图像进行增强得到高分辨率图像,然后利用传统的高分辨率识别方法进行识别
基于低分辨率视频图像手势识别是手势识别中一个研究热点。虽然科学工作者在低分辨率手势识别系统设计方面做了大量工作,但在实际应用中,尤其在手语视频中仍然存在一些挑战性难题。本文针对以下两个难题进行研究:1)分辨率稳健特征提取。广泛应用高分辨率手势识别系统中的有效特征如颜色、纹理特征
1 手语图像特征提取
在低分辨率图像手势识别过程中,静态全局皮肤颜色特征易受到场景光线变化、手与身体其他部分相互遮挡影响,不能有效提取目标区域。而手语中手势动作既有手部相对于头部的位移信息又有手形变化信息,如何在低分辨率图像中计算合适的识别特征值是一个难题。
1.1 目标区域检测
本文采用相邻帧差分法,快速去除背景,检测运动目标,然后在运动目标中提取皮肤颜色特征,从低分辨率图像中提取需要目标区域。由于每一帧提取目标区域所使用的颜色模版都是由该帧与后一帧进行差分运算提取的运动目标颜色特征构建,因此有效地避免了整个视频中不同光照对皮肤颜色特征的影响,并减小如背景、脸部等运动幅度小的区域颜色对颜色模版构建过程的干扰。整个目标区域检测算法流程如图1所示。图2是该目标区域提取方法在低分辨率公共手语数据集进行实验的结果。
图1 目标区域检测算法流程图
图2 目标区域提取结果
1.2 手势特征提取
本文分别计算手部、头部图形的几何中心,构建各区域形心相对坐标关系。对于m×n大小的目标,其灰度值为f(x,y),则形心为:
手形变化主要体现在手部像素边界的改变,而八连通链码与常用四连通链码相比较,更符合局部细节像素分布情况,因此采用八连通链码简化手部边界描述。
2 基于低分辨视频图像的手语识别器设计
2.1 手语的运动学特点
手语单词是构建手语这门独立语言的最小、完整、有意义的要素
通过对不同手语视频分析,手语句言简意赅、语素完整,手语单词分布均匀,无“省略”、“倒装”等复杂语法。一个完整手语单词包括手形、位置和运动三个要素。手语单词内部由一系列连续变化的手势动作组成,手语单词之间由明显起始、终止动作区分。
2.2 目标手语单词识别
常见手语识别器大多利用全局检索方法在人工构建的手语词典上进行手语识别。例如中科院设计的中国手语识别系统
在实际应用中,手语单词包含丰富运动轨迹、手形变化信息,视频帧数受到摄像机采集速率、用户表达习惯、词语使用场景等因素影响而造成不同。动态时间规整(DTW)算法是一种能够消除不同时空表示模式之间时间差异的简便有效算法。为了快速识别手语,通过识别手语单词的起始帧和终止帧特征信息,减少手语识别过程计算量,并利用起始帧与终止帧之间约束关系缩小检索范围,提高识别效率。
本文针对如何自动识别出一组不同手语短句中所包含的相同手语单词的问题,设计手语识别器。简化所需要解决的问题,手语单词是整条手语短句的数据帧{x1,x2,…,xm}所有可能排列组合中满足语法规则的一种。手语单词参数包括起始帧序号ai,结束帧序号bi,手语单词帧长。本文所设计的识别器能够从一组手语中快速计算出最相似手势集。手语单词识别过程如下:
具体步骤如下:
1)在起始帧识别过程中,利用条件迭代模式,计算一条手语短句每一帧与同组其他手语短句各帧之间BTW距离。将每帧BTW距离与该条手语短句所有帧BTW距离和的比值作为目标手语单词起始帧的后验概率,根据后验概率分布,构建起始帧备选集。
2)在结束帧识别过程中,由于完整手语短句在语法上包括主语、谓语、宾语,同一人表达语速平稳,因此将起始帧备选集各帧作为步骤2)搜索的起点,沿时间轴向后搜索三分之一总帧长。然后按照步骤1)在搜索范围内构建目标手语结束帧备选集。
3)因为需要考虑所还原手语单词应符合人们观察认知习惯,所以在步骤1)、步骤2)识别出的起始帧前、结束帧后各取一帧作为过渡帧,与识别结果组合还原完整目标手语单词。
3 手语识别实验与结果分析
本文选择的实验素材(http://marathon.csee.usf.edu/ASL/)满足低分辨率视频识别实验要求。视频分辨率为24位,184×176;视频流帧率为15.00 fps;视频比特率为436 kbps。该手语视频数据集由136条机场出行常用手语短句的视频序列组成,分为动词、名词两大类共10组手语单词。本文实验识别结果如表1所示。
表1 实验仿真结果
在相同手语数据集进行实验,本文提出的方法与文献
4 结语
本文针对手语识别在低分辨率视频条件下遇到的两个难题展开研究,在识别过程中结合手语手势内在特性,提高识别效率。并与国内外的相关成果进行比较,证明本文提出手语识别方法的有效性。在进一步工作中,寻找描述目标区域各部分之间层次关系的有效特征,解决左右手之间位置关系不明显、头部和手部边界重合问题,提高识别效率。
摘要：实际环境中常遇到大量低分辨率手语视频图像需要识别,但其只含有相对有限的判别信息,识别效率不高,因此提出一种手语识别方法。该方法在采用实时皮肤颜色特征提取目标区域的基础上,计算目标区域形心、边界链码两种识别特征值,利用动态时间规整算法依次识别手势起始帧与结束帧,结合识别结果还原手语单词。在南佛罗里达大学公共手语数据集进行实验,采用该方法与现有方法比较,识别出正确手语单词增加21个,错误手语单词减少1个,消除了手语单词残缺干扰,证明该方法的有效性。
根据第六次全国人口普查数据显示,全中国听力残疾人数为2 054万人,言语残疾人数达130万人[1],他们无法像正常人一样交流沟通,造成了工作、学习、娱乐、就医、维权等不便。他们只能通过手语相互交流,而言语正常的人中只有很少一部分习得手语,聋哑人与普通人之间的交流变得更加困难。因此迫切需要一套智能翻译设备来帮助聋哑人与普通人进行正常的沟通和交流。
2013年微软亚洲研究院和中科院计算所合作已经开发出了基于Kinect手语翻译系统,功能强大而且系统稳定。但该系统具有设备昂贵、检测范围固定、反向翻译需要借助于显示屏、与实际空间有隔阂等缺点,现在并没有普及。机器人是中国工业4.0发展的一个重要领域,未来科技的进步必将使得机器人从电脑屏幕的虚拟空间走进到现实的生活空间,将数据手套和智能手语机器人相结合,使普通群众能够享受智能化生活带来的便捷,符合未来发展的潮流。
1 总体结构与工作原理
该双向手语翻译系统以STM32F103ZET6微处理器为主控制器,采用模块化设计思想,集成语音识别、动作捕捉、动作翻译、LED显示、蓝牙通信等功能,能够实现语音转手势和手势转语音双向翻译。语音转手势部分通过语音识别系统识别非特定人声,并将数据处理反馈给主控制器,然后匹配动作库,获取动作指令,完成指定的手语动作。手势转语音部分通过加速传感器和弯曲传感器捕获手势动作参数,通过比对动作库的值得出手势。此外,系统具有LED显示和语音合成功能,方便用户与机器人的交互。系统总体结构如图1所示。
2 系统设计
2.1 硬件电路设计
2.1.1 语音识别模块
语音识别模块硬件电路包括单片机控制部分、语音识别部分和EEROM。其中单片机控制部分选用的是STM32F103ZET6芯片,该芯片为Cortex-M3内核,最高工作频率72 MHz,1.25DMIPS/MHz可实现单周期乘法和硬件除法,工作电压为2 V~3.6 V,同语音识别模块兼容。语音识别部分选用LD3320芯片作为识别芯片[2],该芯片内部集成了语音识别处理器和一些外部电路,包括AD/DA转换器、麦克风接口、声音输出接口等,不需要外接其他的辅助芯片如Flash、RAM等,直接集成在现有的产品中即可以实现语音识别功能,而且识别的关键词语列表是可以任意动态编辑的。语音识别模块总体结构图如图2所示,其中LD3320芯片内部的语音识别原理框图为虚线框内的部分[3],供电部分采用ASM117(3.3 V,1 A)稳压器。
2.1.2 LED显示模块
LED显示模块采用64×32矩阵共阴极点阵屏,由高亮LED灯、74HC595芯片和UN2003构成。74HC595芯片具有8位移位寄存器和一个存储器,具有速度快、功耗低的特点。74HC595作为LED矩阵的驱动器[4],通过串行方式进行控制,具有电路简单、控制方便等优点。电源部分采用LM2596稳压器,最大输出电流可达3 A。LED显示模块原理结构图如图3所示。
2.1.3 语音合成模块
语音合成部分选用SYN6288中文语音合成芯片[5],通过异步串口(Universal Asynchronous Receiver Transmitter,UART)直接同主控制器通信。SYN6288是一款性价比高、效果自然的中高端语音合成芯片。该芯片通过异步串口通信方式接收待合成的文本数据,实现文本到语音的转换。SYN6288芯片采用SSOP28L贴片封装,硬件接口简单、低功耗、音色清凉圆润,在识别文本、数字、字符串方面更智能、更准确,语音合成自然度更好,可懂度更高。
2.1.4 机械臂控制系统
机械臂控制系统由32自由度机械臂、PCA9685芯片、LM2596芯片等构成。其中32自由度机械臂是模仿人手臂自主建模设计,并由3D打印机打印而成,关节处装有大扭矩的双轴舵机,能很好地模仿人体的手臂动作,通过控制舵机来实现关节精确移动,结构图见图4(a)。舵机控制器采用两块PCA9685芯片级联的方式,可同时控制32路舵机,电路原理图见图4(b)。PCA9685是一款I2C总线接口的16路PWM控制器,每路均可独立输出有12 bit分辨率(4096级)固定频率PWM。该PWM控制器运行在40 Hz~1 000 Hz范围的频率下,占空比在0%~100%范围内可调。供电部分采用LM2596(5 V,3 A)作为稳压芯片,并联一个1 000μF大容量电解电容,提高电源的稳定性。
舵机控制系统[6]实现对32个舵机的精确控制,通过特定算法实现了仅需要输入目标角度,关节便可匀速到达指定位置的目的。由于舵机较多,大大增加了控制的复杂性。程序控制将32个舵机分成了3组:左手(11个)、右手(11个)、左右胳膊(10个),并采取分组控制的方法。
2.1.5 数据手套设计
数据手套[7]由微处理器STM32、弯曲传感器Flex4.5"、OLED显示屏和姿态传感器MPU6050[8]等构成,可以捕捉手指的弯曲程度和手臂的运动状态,经过滤波处理将计算后得到的值与手语库的值进行比对,得到对应的手语动作。其中弯曲传感器采用FLX-03A型Flex4.5",该传感器是一个特殊的电阻型传感器。当传感器弯曲或形变时阻值会发生改变,传感器正常状态时阻值大约是10 kΩ,当传感器向一个方向弯曲时阻值会增加。通过分压电路采集AD值可得到对应的电阻值,从而获得手指的弯曲程度。姿态传感器MPU6050集成了3轴微电子机械系统(Micro-electromechanical Systems,MEMS)陀螺仪、3轴MEMS加速度计,以及一个可扩展的数字运动处理器DMP(Data-Management Platform),可减少复杂的融合演算数据、感测器同步化、姿势感应等的负荷。传感器安装位置如图5(a)所示,图中:1为弯曲传感器,2为OLED显示器,3为MPU6050,4为微处理器STM32。图5(b)为自主设计制作的数据手套外观图。
2.1.6 蓝牙模块
蓝牙模块在该系统中有两大功能:(1)可以和数据手套通信,将手套捕获的数据指令传至手语机器人,控制语音合成模块发出提示音;(2)可以同上位机通信,方便上位机发送调试指令,寻找动作的关键节点。蓝牙模块选用DX-BT05 4.0,该模块支持UART接口及SPP蓝牙串口协议,具有成本低、体积小、功耗低、收发灵敏性高等优点,只需配备少许的外围元件就能实现其强大功能。
2.2 软件设计
2.2.1 主系统软件设计
主系统软件部分以STM32为主控制器,通过异步串口通信控制完成语音识别、LED屏显示、语音合成,并通过异步串口控制舵机驱动模块完成指定手语动作。主机软件通过内嵌的Fat FS文件管理系统[9],完成对SD卡的数据存储与读取。
具体实现过程如图6所示。系统上电初始化完成后,STM32发送控制指令控制手语机器人播放提示语音并通过LED显示模块播放开机动画,控制舵机驱动模块恢复至起始动作并等待识别。手语机器人获得识别的语音信息后对数据包进行解析,获得指令码并和动作库比对获得指令代码的指针。然后Fat FS文件管理系统读取函数获得动作指令代码,并通过舵机控制器控制手臂关节实现手语翻译。同时,STM32可控制手语机器人发出提示信息,更好地实现人机交互。
2.2.2 主系统软件设计
子系统软件设计包括语音转手势和手势转语音两部分。其中语音转手势子系统实现原理如下:语音识别进行系统初始化,读取位于存储器中的等待被识别的关键词句,等待语音识别指令。识别到语音信号后首先将非特定语音转换为文本。然后提取文本中的关键词,经过算法匹配获得相似度最高的动作,最后将动作指令码转换为数据包通过异步串口传送至主控制器。工作流程如图7所示。
手势转语音子系统实现原理如下:数据手套通过姿态传感器捕获到手臂的动作后,启动定时器,通过弯曲传感器获得手指弯曲程度,并按照固定时间间隔记录手臂的动作和手指弯曲程度。一旦检测到动作停顿后,将每一帧的数据同手语库中的数据比对,寻找相似度最大的动作,然后清零计时器,将数据发送给主系统,OLED模块显示捕获到的动作。如果定时器超时,表示识别错误,结束本次识别,等待下一次动作的来临,工作流程图如图7(b)所示。
2.2.3 上位机调试软件设计
为了方便动作库的编录,开发了一款动作库上位机调试软件。该软件通过VB可视化编程语言编写,能够通过异步串口与主机建立连接。通过拖动软件界面中滑块改变机器人关节角度值,寻找动作库中的关键节点。同时该软件可以将关键节点的值自动生成控制指令代码,提高动作库的编写效率。
3实验结果
系统上电后,自动启动初始化进程。完成初始化后等待语音输入。这里测试了词组“祝您身体健康”。通过向机器人说“翻译”,告知机器人进入翻译状态,机器人回复“好”,表示已经准备好,向翻译机器人说出“祝您身体健康”,机器人开始翻译预先编程好的“祝您身体健康”的手语动作库,回复“正在为您翻译”,同时LED显示屏显示正在翻译的动作名称。具体翻译过程如图8所示。
4结论
此款智能仿生双向手语翻译系统具有操作简单、词汇量较大以及双向转化的优势。产品成本低,识别率较高,不受光照等环境的影响,给聋哑人和正常人之间的沟通带来方便。同时该设备适合用于聋哑人家庭、公共场所以及公益机构进行手语教学,因此具有良好的应用前景。
参考文献
[1]中国残疾人联合会.2010年末全国残疾人总数及各类、不同残疾等级人数[EB/OL].[2012-6-26].http://www.cdpf.org.cn/sjzx/cjrgk/201206/t20120626_387581.shtml.
[2]洪家平.LD3320的嵌入式语音识别系统的应用[J].新器件新技术,2012(2):47-49.
[3]ICRoute.LD332X数据手册[EB/OL].[2011-10-13].http://www.icroute.com/web_cn/Download.htm1.
[4]洪岳炜,王百鸣,谢超英.智能点阵电子显示屏控制系统设计[J].实验室研究与探索,2010,29(2):37-39.
[5]SYN6288--Manual[EB/OL].[2011-9-6].http://www.tts168.com.cn/bao/SYN6288--Manual.pdf.
[6]梁锋,王志良,解仑,等.多舵机控制在类人机器人上的应用[J].微计算机信息,2008,24(1-2):242-243.
[7]江立.基于CAS-GLOVE数据手套的手势识别技术研究[D].北京:北京交通大学,2006.
[8]曲波,肖圣兵,吕建平.工业常用传感器选型指南[M].北京:清华大学出版社,2002.
毕业于北京联合大学特殊教育学院的郝悦进入这个行业纯属偶然。初入大学的她在一次与聋哑孩子的联谊活动中深刻地感受到，听力有障碍的人群是多么渴望与正常人进行沟通。郝悦的心被触动了，最初仅仅是为了空余时间能与聋哑儿童交流，她开始学习手语。“我整天跟一些聋孩子呆在一起。仅仅过了两个月，我就基本上掌握了手语。其实学手语也像学习英语口语一样，要从实践中学习。”郝悦说。她几乎把自己所有的课余时间都用在推广和宣传手语上了。
随着她的手语水平不断提高，郝悦也对这个行业更加熟悉，她发现，我国目前手语翻译职业化道路刚刚起步，各方面还很不完善，缺少专业的手语翻译，尤其是分科明确、专业程度很高的手语翻译人员，目前手语翻译工作只是由聋校教师和残疾人工厂的手语翻译人员担任，这些人不仅缺乏手语翻译技能技巧等方面的专业培训，更缺乏某一专业领域的知识储备和训练。我国的聋哑人群数量已达到2067万，随着2007年世界特殊奥林匹克运动会、2008年北京奥运会及2010年上海世博会等一系列重大国际活动的举行，手语翻译员人才特别紧缺。
郝悦发觉这对就业者来说，意味着一个全新的职业空间。她开始主动寻找一些大型活动中的接待翻译、特殊竞赛、演出陪同翻译和广播电视手语翻译等工作，另外，一些旅游景点、商场、邮局、银行甚至医院也都需要手语翻译。目前手语翻译半天的报酬在100元左右，也就是每小时20元左右。接下来，她准备成立一个专门的手语翻译中介机构。
行业点评
一.语文教师要学会两种手语类型间的转换
手势汉语遵循的是汉语语法规则, 聋人自然手语遵循的是自身的语法规则。在实际语文教学过程中, 语文教师往往会不自觉的混用两种手语, 造成学生在理解上存在困难。因此, 语文教学要正确运用聋人手语, 就要求语文教师学会两种手语类型间的转换。
首先, 语文教师要明确划分两种手语类型, 让学生明白两种手语类型间的区别。在实际教学活动中, 学生能够清楚和明白教师正在使用的是哪一种手语, 避免理解上出现混乱。其次, 语文教师在实际的教学过程中, 要灵活的转换两种手语类型。例如, 遇到课本中一些较为难懂的语句和段落时, 语文教师应该使用聋人自然手语进行教学, 帮助和促进学生理解课本。当学生对课本了解到一定程度后, 再使用手势汉语教学, 让学生真正学懂语文知识。
二.语文教师要合理运用聋人手语
一般的, 如果一个人不够了解聋人自然手语, 那么他眼中的聋人手语就是一团乱麻, 毫无章法, 无从下手。语文教师也是如此, 如果他对聋人自然手语认识不足, 那么在实际使用中就会手忙脚乱, “词不达意”。在进行语文课教学的时候, 语文教师一会儿使用手势汉语, 一会儿又使用聋人自然手语, 一会儿又将两种手语混合在了一起, 甚至会使用一些带有歧义的肢体动作, 使得学生根本无法理解语文课教学的内容。
然而, 事实上聋人自然手语并不是无序的, 它具有一套自己的独立的语法规则。跟一般性的语言不同, 聋人自然手语是一种视觉上的语言, 它由一系列手形、手掌朝向、手部运动等组合而成, 具有立体性。在情绪的表达上, 聋人自然手语通过表达人的表情, 手语的动作幅度以及动作速度来进行体现。跟口语通过语音语调来表达的形式, 有着极为显著的差别。很多语文教师在教学活动中, 缺失了情绪的表达, 致使学生在理解上出现了困难。
在实际教学活动中, 语文教师应该根据词汇意义来合理的选择其对应的手语手势。值得注意的是, 通过手语对课本内容的转换, 不仅仅只是词面上的转换, 更是内容上的转换。很多语文教师都往往都只注意了前者, 忽视了后者。使得语文教学变成了逐词逐句的解读工作, 而在意义的表达缺乏连贯性, 同时变得晦涩难懂。
以上就是语文教师在实际聋校教学活动中存在的种种的问题。解决这些问题, 前提就是语文教师要加深对手势手语的学习工作, 提升自身的手语表达能力。然而在实际的教学活动中, 正确合理的使用手语。在手语的表达上要充分融入情感的要素, 在课本的教授上不要再仅仅局限于词汇上, 更要学会对内容含义的表达。
三.语文教师要准确使用手势汉语
聋哑学生在日常生活中直接接触到汉语的机会较少, 对汉语基本的语法规则了解的不够多。因此, 很难打出正确通顺的手势汉语。这就为学生在语文课的学习带来一定的困难。目前, 在我国的聋哑学校, 语文是聋哑学生的第二语言, 可见语文教学在我国聋哑学校中的重要性。而手势汉语是聋哑学生学好语文课的必然基础。所以在实际的语文教学过程中, 教师应该规范化手势汉语的使用, 通过生动形象的方式准确表达出汉语词汇的意义, 然后在辅之以正确的聋人自然手语, 帮助学生充分理解词汇。
【手语的介绍】推荐阅读：
手语大赛策划书07-15
手语协会活动月策划书09-14
学生会手语协会工作计划06-10
介绍单位的介绍信05-30
学校介绍的英语作文,学校介绍的英语作文07-17
剪纸的介绍06-10
宇宙的介绍09-13
介绍简历的写法07-03
公司的优势介绍07-04
jeep的介绍07-22
