自然手语翻译器系统设计和实现文档格式.docx

自然手语翻译器系统设计和实现文档格式.docx

《自然手语翻译器系统设计和实现文档格式.docx》由会员分享，可在线阅读，更多相关《自然手语翻译器系统设计和实现文档格式.docx（5页珍藏版）》请在冰豆网上搜索。

整个系统由自然手语生成子系统、自然手语资源管理子系统和手语展示客户端组成。

自然手语生成子系统包括自然语言处理、自然手语动画自动生成等模块；

自然手语资源管理子系统完成对自然手语相关资源的管理，包括自然语言语义知识、自然手语转换语义知识、手语资源氰该系统经济实用，应用广泛，使用便捷，前景广阔，可用于手语学习、手语虚拟主持人，有助于手语的学习和推广'

促进和谐社会的建设与发展。

关键词：

手语翻译；

自然语言处理；

动画自动生成；

知识管理

0引言

根据第六次全国人口普查我国总人口数以及第二次全国残疾人抽样调查我国残疾人数占全国总人口数的比例和各类残疾人数占残疾人总人数的比例，推算2014年末我国聋人总人数

2700万人。

中国社会对聋人群体非常关心，彭丽嫒女士曾多次到特殊学校看望聋人儿童，给其带去社会的关爱。

然而，由于手语学习比较困难，很少有志愿者懂得手语，可以和聋人进行交流，很大影响了社会服务的效果，也不利于聋人融入社会。

1现状分析

为了解决手语学习上的困境，国内外的学者进行了一些尝试，如微软亚洲研究院和中科院的Kinect手语翻译系统和东芝公司的手语机器人等。

（1）微软亚洲研究院和中科院的Kinect手语翻译系统：

能将手语翻译成口语。

（2）日本东芝公司的手语机器人：

名AikoChihira，拥有逼真的外观，内置Android系统，可以自我介绍、眨眼和微笑，可以模拟出各种手语和人交流。

这些软件或系统为手语翻译的研究带来了新的理念和技术，但是并不能真正用于中国聋人群体中，主要原因在于，这些软件或系统，要么是一个真正的机器人，不能推广到普通家庭，要么实现了手语手势的识别，不能直接用于手语学习。

本文在自然手语专家积累的自然手语资源的基础上，综合运用了自然语言处理、知识管理、3D动画建模、移动互联网、Android开发等技术，以用户体验为核心，设计开发了聋人自然手语翻译器。

2总体设计

自然手语翻译器系统的模块结构如图l所示。

自然手语翻译器系统的主要功能包括：

（1）自然语言处理模块：

包括语义理解、纠错、全简称识别等功能。

能完成汉语文字到

自然手语词汇序列的翻译。

（2）自然手语动画自动生成（也称：

手语合成）：

利用自然手语调序语义规则、自然手语动画生成语义规则等，对资源库手语动画（手语词汇动画）进行最优组合，形成完整的自然手语动画或图片。

（3）手语资源管理子系统，提供了对手语调序语义规则、自然手语动画生成语义规则的管理，同时提供了其他手语专家和聋人建设的手语资源的接入和同步功能。

本系统主要包括以下3个部分如图2所示。

（1）自然手语生成子系统：

为手机APP和其他接入的手语展示应用提供自然手语资源的服务。

主要功能包括：

①自然语言处理；

②手语动画自动生成。

（2）自然手语资源管理子系统：

对自然手语资源库中的各种资源进行管理。

自然手语资源库包括2类资源的管理。

①自然手语资源：

手语图片库、手语视频库和手语动画库；

②自然手语资源服务中所需的其他资源：

日常对话、语素、词语短语、同义词、术语语义网、自然手语文法和自然语言文法等。

（3）手语展示客户端：

在手语展示客户端（目前主要针对手机APP）展示手语，如动画或图片等。

自然语言处理技术，包括如何进行语义理解、纠错、拼音术语全简称等的识别。

首先建设了日常生活中的手语句子、词汇的语义库，该库包含了这些词汇的同义词词典，词汇上下文信息词典等各种词典和手语句子的文法信息；

然后进行了综合最大前向和最大后向的分词，并在此基础上进行拼音和纠错；

最后进行了基于文法的句子含义自动匹配和生成。

自然手语的3D动画建模技术，包括自然手语的角色模型建设和手语动作、面部表情等的建模、手Key动作优化等。

团队首先选择了3DsMax作为动画建模软件，利用这个软件构建3个人物角色模型，包括：

成人男、成人女、小孩。

然后进行了动作建模。

已经通过手key的方式建了30个动作模型。

拟利用国内最先进的动作捕获设备，将日常对话300句中涉及的所有自然手语由手语专家分别进行表演并进行动作捕获，从而生成原始的动画并拍摄手语视频；

然后对这些动画进行人工的调优，形成可用的动画。

手语动画自动生成技术：

将自然手语词汇序列的每一个自然手语词汇对应的手语动画自动拼接，形成完整的手语动画。

利用Unity3D上实现了该功能，可以完成已建好的30个自然手语动作的任意组合。

手语展示技术，包括调用讯飞语音识别、调用自然语言处理、调用手语动画的自动生成和播放手语动画等。

首先完成了讯飞语音云提供的语音识别功能的调用。

然后实现了自然手语资源服务平台提供的自然语言处理的调用和手语动画自动生成功能的调用。

通过这些功能的调用，得到了生成后的自然手语动作的组合。

最后，利用Unity3D，将得到的动作序列在自然语言手语角色模型上连续播放。

系统的主要技术指标：

（1）语义理解准确度：

日常对话300句的语义理解准确率98%，从网上随意获取的语料共i00句的语义理解准确率80%。

（2）自然手语资源的标准性：

手语资源如手语图片、手语视频、手语动画（手语词汇动画）等必须让聋人能够100%理解。

（3）手语动画的聋人可读度：

手语词汇动画必须标准，系统翻译出来的手语，聋人能够真正读懂，具体要求是：

开放场景下能够读懂70%，限定场景下的能够读懂90%。

（4）平台的开放性：

聋人或其他手语专家按照我们的标准建设的手语资源库可以无缝接入本平台。

下面以手机APP为例介绍本产品的工作过程。

手机APP的工作过程如图3所示。

（1）用户在手机APP上输入语音或文字。

（2）语音通过讯飞语音云识别为文字。

（3）调用自然语言手语资源服务平台提供自然语言处理功能，对这些自然语言文本进行自然语言处理，将符合自然语言文法的自然语言文本，转变成符合自然手语文法的自然手语词汇序列。

返回的结果是Json字符串。

（4）手机APP获取到这些自然手语词汇序列后，调用自然手语资源服务平台提供的动画自动生成功能，生成可播放的手语动画。

（5）手机APP以动画、图片、视频等形式展示自然手语给用户。

3系统实现

当用户通过手机APP输入一段语音时，服务器程序会返回用户一串手语序列，这些手语序列在客户端生成3D手语cG动画。

使手语更加简单明了地呈现在用户面前。

3.1三种显示

动画显示、视频显示、序列显示。

（1）视频显示：

通过视频方式，显示手语动作。

（2）序列显示：

以一张一张带文字说明的图的方式显示手语动作序列。

（3）动画显示：

词汇动画自动生成Unity3D可播放的手语动画。

3.2获得帮助

使用语音或文字，输入“help”或“帮助”呼出系统帮助说明。

3.3视频和生成动画的原则

（1）短小精悍：

不能长篇大论。

（2）自然语言翻译为自然手语词汇序列，从而得到对应的每一个手语动画（词汇动画），从而组合手语动画。