基于linux开发及物联网的语音识别智能多媒体管理终端.docx

基于linux开发及物联网的语音识别智能多媒体管理终端.docx

《基于linux开发及物联网的语音识别智能多媒体管理终端.docx》由会员分享，可在线阅读，更多相关《基于linux开发及物联网的语音识别智能多媒体管理终端.docx（49页珍藏版）》请在冰豆网上搜索。

基于linux开发及物联网的语音识别智能多媒体管理终端

基于linux开发及物联网的语音识别智能多媒体管理终端

摘要

随着社会的科学技术的发展，我们用到的媒体管理终端的作用越来越明显，它可以进行音视频的录取播放、可以演示文档和保存相关资料等的功能，我们在生活中随处会用到它，同时它也担负着越来越多的功能，这些媒体管理终端往往会被应用到公司企业、学校教室和民宅里，而在较早的媒体管理终端中需要我们进行较繁杂键盘信息输入才能调用其相关的功能，这样在一定程度上会降低企业的培训管理效率，或者说会降低学校的教室的演讲效率和家庭环境中的使用效率，会浪费比较的时间和人力，而本人的相关设计就是让以Linux和物联网为基础的媒体管理终端变得更加便捷化和智能化，通过向系统发出类似“播放音乐”“打开视频”等语音来让系统调用相关功能，使得在教室和企业中有更高的教学效率和工作效率。

关键词：

媒体管理终端；Linux；物联网；便捷化；智能化

DevelopmentofvoicerecognitionintelligentmultimediamanagementterminalbasedonLinux

Abstract

Withthedevelopmentofsocialscienceandtechnology,theroleofthemediamanagementterminalthatweuseismoreandmoreobvious.Itcanbeusedforaudioandvideorecording,demonstrationdocumentsandsavingrelatedmaterials.Wewilluseiteverywhereinourlife,anditalsotakesonmoreandmorefunctions.Thesemediamanagementterminalsareoftenappliedtocompanies,schoolsandteachersIntheroomandthehouse,butintheearliermediamanagementterminal,weneedtoinputmorecomplexkeyboardinformationtocallitsrelevantfunctions,whichwillreducethetrainingmanagementefficiencyoftheenterprisetoacertainextent,orreducetheefficiencyofspeechintheclassroomoftheschoolandtheuseefficiencyinthefamilyenvironment,andwastecomparativetimeandmanpower,andmyrelevantdesignistoThemediamanagementterminalbasedonLinuxandtheInternetofthingsbecomesmoreconvenientandintelligent.Bysendingvoicelike"playmusic","openvideo"tothesystem,thesystemcancallrelevantfunctions,whichmakestheteachingefficiencyandworkefficiencyhigherintheclassroomandenterprise.

Keywords:

Mediamanagementterminal;Internetofthings;Facilitation;Intellectualization;

2.本设计..............................................................4

2.1本设计涉及的相关技术支持.........................................4

2.2本设计涉及的相关原理............................................9

2.2.1网络编程技术原理..........................................9

2.2.2嵌入式Linux系统构造......................................10

2.2.3C语言编译器的工作原理....................................11

2.2.4C语言编译器的工作流程....................................12

2.3方案选择........................................................13

2.4分析设计中遇到的问题............................................14

2.5设计过程........................................................15

3结论...............................................................30

参考文献..............................................................31

谢辞..................................................................32

附录..................................................................33

1前言

随着社会的科学技术的发展，我们用到的媒体管理终端的作用越来越明显，它可以进行音视频的录取播放、可以演示文档和保存相关资料等的功能，我们在生活中随处会用到它，同时它也担负着越来越多的功能，这些媒体管理终端往往会被应用到公司企业、学校教室和民宅里，而在较早的媒体管理终端中需要我们进行较繁杂键盘信息输入才能调用其相关的功能，这样在一定程度上会降低企业的培训管理效率，或者说会降低学校的教室的演讲效率和家庭环境中的使用效率，会浪费比较的时间和人力，而本人的相关设计就是让以Linux和物联网为基础的媒体管理终端变得更加便捷化和智能化，通过向系统发出类似“播放音乐”“打开视频”等语音来让系统调用相关功能，使得在教室和企业中有更高的教学效率和工作效率。

1.1设计的目的、意义及应该达到的技术要求

本设计的目的主要是体现该系统调用了Linux相关技术和物联网的原理作为语音识别的技术基础，同时能够在媒体管理终端接收到相关请求而执行相关指令，展示能够进行语音识别的媒体管理终端的便捷性和智能化。

其意义在于在研究该系统的原理和设计同时能够掌握了解Linux相关技术和物联网的原理，并能够展现使用了语音识别的媒体管理终端的优越性。

说到应该达到的技术要求，就是要以Linux系统和相关语言像C语言作为编程语言来编写整个程序，同时实现一个服务器和一个客户端，服务器是接收语音文件进行声音分析，而客户端就是多媒体管理终端进行接收服务器的信息进行相关的指令，这里用到的就是物联网的原理和技术，而在多媒体管理终端方面需要实现播放音乐、显示图片和打开关闭Led灯等功能。

总体合并来说就是应该达到对多媒体管理终端进行语音录取后该系统能短时间内做出相关指令的技术要求。

1.2本设计和相关技术在国内外的发展概况及存在的问题

在我们国内的语音识别多媒体管理终端是已经达到较为先进的水平，虽然我们国家对于语音识别技术的研究较为晚，但是发展迅速，目前已经达到紧跟国际水平的标准，因为我们使用的是汉语其实在语音识别是更为困难同时也是更有成就感，例如我们国家的科大讯飞企业就是我们的代表，有能够进行多种语言语音识别功能和翻译的产品，在语音识别和移动通信方面都是达到国际水平的标准，也有较多的产品设备在市场上销售。

在我们国内存在关于语音识别的问题就是计算机在人机交互上还存在一定的不足。

需要注意的是我们还需要走相当长的一段路来取得突破性的进展。

在国外也就是国际上其实在较早80年代开始美国方面就已经在语音识别方面进行深入研究，HMM模型和人工神经元网络的成功应用，使得他们在比我们较早的时候实现了语音识别的功能，伴随着多媒体管理加载语音识别功能的时代来临，Apple公司的Siri系统和微软的PhoneQuery引擎就是其目前顶尖水平的体现。

Linux系统的发展历史

Linux系统时期的前身是UNIX操作系统，而这个UNIX系统是完全用汇编语言进行编写的操作系统。

在1983年理查德斯创立出GNU计划，为了创建一个完全自由的类UNIX操作系统，其开始进行大量的产生和收集各种系统所必备的组件，例如库、编译器、调试工具。

在80年代时DOS操作系统是微机系统中的主宰。

而此时以为芬兰赫尔辛基大学的学生LinusToevalds开始计划编写自已的操作系统，并开始找合作伙伴，并不懈的研发编写下于1991年的10月向外宣布了Linux内核系统的诞生，在往后的新版本诞生时都会选择这个时间发布。

Linux在1998年达到了发展最快，与此同时这年的RedHat成立研发实验室进行对Linux系统的研究开发。

IBM在1999年与小红帽公司建立合作关系，RedHat在2000年时间发布了嵌入式的开发环境，到现在Linux在商业化方面做得可以说非常好。

Linux作为一套自由使用的软件，比Apple的MacOs在价格和自由度上有较大优势，用户可以无偿地得到Linux使用权，可以对大量的程序进行研究开发，在现在为止Linux是唯一的一个为用户提供多任务功能的操作系统。

与此同时Linux系统可以做到兼容POSI2.0标准和多任务独立运行等的多种特点。

现在Linux系统是可以被移植到很多的平台和嵌入式系统上的，像手机、工业机器系统和平板电脑等，我们生活中许多人热衷的Android系统，其实就是在Linux的内核基础上进行研发得到的。

Linux社区是一个非常受编程人士欢迎的平台，里面时常会有网友推出一些Linux组件、GNU内核等的系统文件。

图1.1Linux系统

物联网的发展历史

作为新一代的通信技术的不可或缺组成部分，物联网从本质来说就是以互联网为基础进行的提升。

2005年11月国际电信联盟正式提出“物联网”的概念，这时候的物联网不再只是以RFID技术为基础，还可以通过因特网进行物品与物品的交换和通信，许多的通信技术如RFID技术射频识别技术、职能嵌入式技术会在物联网中得到更为广泛的使用。

在此之后许多国家政府开始重视物联网的技术发展规划上，可见物联网在如今时代的重要性和普遍化。

图1.2物联网

在我国从物联网的概念产生开始就很重视物联网方面的发展，在1999年中科院就开始对物联网相关技术进行研究，在现在关于移动基站、微型终端机和无线通信技术等方面都是取得了比较明显的进展和突破，2009年我们在无锡市建立第一个物联网交流园区，国内的三大运营商也先后建立了物联网研究中心，在制定十二五规划时将物联网纳入新兴产业的发展规划中，各地高校也陆续开设物联网专业，许多民营公司企业成立物联网工作小组进行对物联网产业的研究。

在政府、产业圈、主管部门的共同努力下，我国的物联网产业发展取得了显著成果，目前已经是世界上物联网领先水平的国家之一。

目前我们国家的物联网和传统产业正在进行融合与相互渗透，生成新型产业和新的应用。

作为我国的信息产业重要组成部分，正在不断进行更深层次应用的发展，对传统产业向智能化升级等方面起着重要的作用。

智慧社区是物联网应用中比较有代表性的，智慧社区利用包括云计算、大数据、物联网等方面的信息技术，来制造一个更为方便、智能、安全的生活环境，从而有效的提升居民的生活居住舒适度、安全度。

1.3本设计应解决的主要问题

关于本设计在分析设计过程中，需要创建一个服务器和一个客户端来实现该设计，而在服务器方面遇到的主要问题就是需要做到与客户端进行一个以TCP协议为技术基础的通信连接，并接收客户端发送过来的语音文件进行处理，再向客户端发送一个信息进行反馈，以上是服务器方面需要解决的主要问题。

而在客户端方面的话，客户端是在一个Cortex-A53嵌入式开发板上实现声音的录取并向服务器发送语音文件并接收服务器发送过来的对语音进行识别后的反馈信息，并实现播放音乐、显示相关图片和打开关闭LED灯等功能，以上就是客户端方面需要解决的主要问题。

总体来说就是需要解决TCP协议连接和发送接收问题、语音文件识别问题及多媒体的相关功能调用的问题。

2.本设计

（1）该设计以GEC6818开发板作为平台，采用嵌入式ARM处理器，搭载Linux系统。

（2）首先采用网络编程相关技术，利用TCP/IP协议，创建一个服务器程序系统和客户端程序系统，并通过创建TCP套接字、绑定ip、端口号和id端口号的转换、服务器设置监听状态、客户端发起连接请求和服务器接收请求来达到成功连接的状态。

（3）采用科大讯飞企业的相关例程代码进行分析并修改，实现客户端对语音文件的录取发送和服务器对语音文件的接收和识别。

（4）采用C语言相关编程技术及嵌入式图形系统framebuffer编程相关技术，实现对GEC6818开发板的屏幕触摸的信息输入和触屏控制语音的录制，实现图片的调用显示和音乐的播放。

（5）利用开发板的硬件GPIO口的输入输出和使用软件结合来驱动一些外部模块，例如电机转动。

（6）对程序的代码进行编译方面采用的是以Linux系统作为编译平台，利用交叉编译的使用方法实现对程序代码的编译并烧录进GEC6818开发板中，最终完成整个设计。

2.1本设计涉及的相关技术支持

Linux系统的特点

（1）让用户喜欢一个特点是可以同时开启多个独立的窗口进行编程开发，对应的每个窗口是有属于自已的权限，其他的窗口无法干涉。

（2）Linux系统还可以做到同时进行对多个任务的处理，并给使用的用户一个非常优化的用户界面。

（3）Linux操作系统还可以做到把外部的系统设备当成能够识别的文件处理，使用的用户可以对这些能够识别的文件进行多种操作。

（4）同时Linux操作系统还提供大量的优化程度非常高的网络功能，还提供许多保护程度高的子系统和提供高级别的授权等操作。

（5）Linux操作系统可以在多种类型的计算机环境下正常运行，这也体现了Linux系统高移植性的优势。

（6）Linux系统的内核设计分成了进程管理、进程通信、虚构文件系统，Linux系统的模块内核是可以根据每个用户的要求，对内核插入或者移走模块，使每个用户根据自已的需求来设置不同模块来应用不同场景。

（7）受到广泛的硬件支持：

因为免费开源的原因，使得大量的程序员进行设计开发并分享代码，让Linux系统有丰富的设备资源。

对主流的硬件支持性非常高，并能在目前市场上的处理器上运行。

（8）Linux系统在运行期间会启动审视追踪和核心授权等的安全技术措施，并且系统还具备了稳固的防火墙，还提供了许多对当前网络状况进行管理和分析的实用软件。

（9）完善的网络服务支持：

在作为客户端方面，Linux有着丰富的客户端应用软件，其支持的网络服务包括FTP服务、网路信息服务、电子邮件服务等多种网络服务，目前的Linux系统支持大量的网络搭载硬件和文件操作系统。

（10）任何人和组织只要遵守Linux系统中的GPL条约，就能使用其公开的系统代码，给使用用户提供了最大程度上的自由化，每个设计者都可以根据实际情况对源代码进行修改和优化。

（11）对于Linux系统的开发关键就是需要有一套完整的研发工具，而Linux系统就能做到给目标程序提供一个较为完善的模仿拟定环境，这样开发者可以很清晰地看到目标程序在板子上的状态。

Linux系统目前存在的不足

（1）没有固定的支持厂商：

因为Linux系统上的所有套件几乎都是自由软件，所以大部分的自由软件都不是盈利性的团体，但我们在Linux上的软件使用过程中遇到问题，是只能自已去寻找解决方案的。

（2）游戏方面支持度不够高：

现在的游戏各种类型丰富多样，但是在Linux系统上进行开发的几乎没有，在游戏方面的开发还需要提高。

（3）操作较为复杂：

因为Linux系统主要用于对程序应用的开发，通过输入命令的形式管理与操作的，与Windows系统的图形界面相比操作难度显而易见的大，这样对新手或者对开发感兴趣的人一定程度的台阶，需要熟悉操作系统原理和Linux相关指令，当然只要花费一段时间去理解，上手还是可以的。

物联网的特点

（1）是各种感知技术的广泛应用：

物联网可以利用多种感应设备来感知得到测试物体的多种信息，大量的各种类型传感器存在于物联网中，其捕获的信息实质和信息格式都是不同的，其中传感器能够按照一定的同步时间采集需要的信息。

（2）互联网作为物联网的重心和根底，利用两种线路下的网络与互联网的交汇，从而把信息数据实时地发送到各个客户端中。

同时为了保证发送数据的准确性，传感器在发送和接受数据过程中需要顺应多种的不同结构下的网络协议。

（3）物联网在供应传感器需要的链接条件同时，也具有对数据进行智能化处理。

物联网能够通过大数据、云计算等的智能化处理，提升其中的应用层次，对传感器收集的大量数据进行处理，以此解决用户的要求，从而能够开发新的应用和模式。

图2.1物联网在当今社会上起着重要作用

（4）具备较高的可靠性：

因为物联网是以互联网和无线网络为基础的融合而成，所以物联网可以将物体的信息准确无误和实时地传送出去，从而有效和实时地进行信息的交流和分享。

（5）具备较高的效率：

因为物联网的相互通信并处理大量任务，所以它能在最大限度地减少人力，同时因为减少了大量的人力，它在一定程度上节省了时间。

目前物联网存在的问题

（1）安全性不足：

物联网因为其系统互相连接，通过互联网为基础的通信，存在网络攻击造成信息泄露等问题，也就是安全性得不到保障，尽管一直以来系统都采取了相应的安全措施，但因为其系统不提供任何控制，所以总体来说目前物联网的安全性还得不到有效的保障。

通信协议MQTT其中就存在缺乏加密的问题，XMPP没有服务质量规定。

在目前市场价值不可估计的物联网市场，如果安全性不够高，那信息泄露、数据消极修改等问题的发生会造成市场的崩溃等不良情况的发生，其中的一些物联网恶意软件像Miral、PerckerBot、Rowdy等的软件对物联网的恶意攻击，对制造业、交通、能源、电力和医疗等领域都造成不良的影响。

其中2017年的“水滴直播”事件让我们国家的物联网从业者反省物联网的数据归属问题，个人和群体的隐私信息得不到有效保护。

（2）物联网卡的设计销售依然不够完备：

所谓的物联网卡是根据信息传输技术来进行信息的发送接收。

目前我国的物联网卡的市场是非常大并具备较宽阔的潜力，现阶段进行了从软件技术、传感器方向等机器设备向硬件设备方面运用的升级。

物联网卡的应用流程主要是改装集成ic控制模块等方面。

然而，目前我国对应的物理学网口因为市场营销问题存在使用寿命较短的问题，其次物联网卡的资费套餐不够透明，存在一定程度潜规则和标准不够完善，这些都是目前我国的物联网卡存在的问题，但是我相信随着物联网的技术飞速发展，物联网卡会朝着创新方向发展，同时营销市场根据一定的政府政策来管制，能够逐渐改善下来。

我国在物联网技术层面的发展现状

（1）在感知层方面，摄像头、RFID识别器等都是感知层目前比较突出的产品应用，在我们国内的自行开放传感器的研发水准与欧美国家相比还处于比较劣势的地位，大部分的高端传感器以进口的为主。

（2）在传输层方面，其主要的传输载体是移动通信网络，在传输层发展方面我们比较完善，如今传输层的水准要求变得越来越高，因此相关的传输层技术产业竞争也是比较强。

（3）在物联网应用层方面，我国的相关企业主要是以对硬件进行应用层开发为主，同时外国企业的应用层技术较为高，由于我们国家的应用层技术与外国企业的多年交接，传统的IT行业也正在进入物联网业务，物联网应用开发的相关企业也在明显增加。

总体来说我国的物联网相关技术的覆盖范围非常广泛，其中的发展空间是非常有潜力的。

我国的物联网技术的发展趋势

我们国家在物联网方面的技术就目前来说是较为发达的，其中物联网的应用是主要技术体现和成果。

我们国家的物联网技术水平体系正在越来越发达，同时在近年会产生一些综合性的产品应用。

未来的市场上将是由设备提供商、运营商服务商合作推出一个个服务完善、类型众多的应用。

国外物联网发展现状

国外方面美国是最先提出了物联网的概念，2008年IBM提出“智慧地球”方案后受到当时的美国政府的响应，提出要在电子网络、教育和医疗等领域加大投入力度来带动物联网技术的研究开发，美国国家情报委员会把物联网列为六种关键技术之一，同时像思科、英特尔、高通和微软等企业也开始强化物联网的核心技术研发。

美国政府于2012年到2014年期间发布相关政策来大力推广大数据等物联网成果受用到各个部门当中。

并且在近年美国还将服务业和物联网的特点结合起来，并通过Cisco、Amazon等知名企业来打造工业物联网与数据分析平台，推动工业方面的物联网标准制定。

2010年8月欧盟公布《欧盟物联网行动计划》，并推出在2011、2016和2022年的物联网的研发计划，在飞行方面、交通运输方面、医学研究方面等领域进行开发性的进展。

欧盟还制定一系列的物联网相关的关联规则来加强政府对物联网的管理，建立有效的管理架构，并制订修改相关立法制度来解决数据泄露和个人隐私曝光等问题。

2015年3月欧盟成立AIOTI（物联网创新联盟），以此来让各个国家的的物联网相关技术结合起来，创建一个物联网的一体化区域。

现在欧盟在智能服务业、智能工业等领域有着深入的发展研究，同时也向安全模式、法律层面和隐私方面进行一定程度的研究。

日本在2004年提出了U-Japan战略，目标是实现全日本的计算机通信普遍化，日本后续开始研发出智能服务业、一体化家具等方面的应用。

2015年日本的物流、智能财富、交通等八个领域的用户量达到318万以上，在交通。

物流行业有超过100万KDDI用户。

2015年10月日本成立物联网推进联盟，主要为了解决技术开发问题。

2016年日本甲普公司开始利用物联网技术对相关工厂的设备故障、温度、压力等因素进行分析来应对问题，同时实现提升系统创造新商机，近年日本着手设计新的商业模式布局来建构新的物联网社会。

从1999年开始的Cyhber-Korea技术到2015年对串口数据发送接收等技术规划部署，韩国政府在4年内推出多项政策致力于在大数据开发和传感器开发等方面来提高韩国的经济发展。

为了推动物联网普及到应用中，韩国于2016年推出Korea-U政策，旨在达成国内大范围覆盖宽带网络。

同时在食品、药品、军火管理和通道设施管理等方面进行试点实验，旨在推动USN在实际生活中的使用和商业化。

在首尔市政府、春川市江源道和济州岛建设通信基站进行相关研发，实现物联网相关技术、物联网服务范围化等领域的研究开发。

韩国通信相关部门在2013年发布产业培育战略，主要内容是在服装、交通、家具电器、食品等区域提高串口数据发