1121011502吴亚楠 最终报告.docx

1、1121011502吴亚楠 最终报告中北大学实 验 报 告专 业 软件工程 课程名称 人机交互的软件工程方法 学 号 1121011502 姓 名 吴亚楠 辅导教师 常旭青 成绩 实验日期实验时间1实验名称 ：最新人机交互技术2、实验目的了解最新人机交互的研究内容。3、实验要求通过网络查询最新人机交互相关知识。1、在XX中找到“最新人机交互视频”的相关网页，查看视频。2、什么是eTable 。3、人机交互技术在各个领域的应用。4、实验内容1、在XX中找到“最新人机交互视频”的相关网页，查看视频。 透视显示屏 针对利用双目立体视觉技术实现大屏幕人机交互系统时摄像头标定复杂的问题,提出一种大屏幕人

2、机交互系统的实现方法。由两个摄像头负责采集用户手部的图像,获取指尖的二维图像位置坐标,通过透视投影模型,由测量所得的两个摄像头之间的距离、大屏幕左边与摄像头之间的距离、摄像头离地面的高度、大屏幕底边离地面的高度等数据,求出地面上与指尖成像在同一位置的地面坐标,由摄像头的位置及地面坐标求出一条直线,两条直线相交获取指尖空间坐标,由指尖空间坐标选取与屏幕对应的二维平面坐标,经物理坐标到逻辑坐标转换求出手指指向屏幕的实际坐标,实现大屏幕的定位。定位完成后,采用指尖检测方法检测视频图像中指尖是否存在,以此判断食指弯曲和伸开的点击操作。指尖空间坐标的计算方法虽然存在误差,但由于用户在操作过程中能够实时看

3、到鼠标的位置,因此该误差对用户是透明的,而这种方法以简单的、近似的求解避免了复杂的摄像头标定过程,便于系统工程的实施。 2、什么是eTable eTable 作为新一代的人机交互产品，具有良好的人机交互界面，可以提供良好的人机交互环境，在欧美已经逐渐应用于日常生活中，可以通过etable进行网上购物，进行游戏比拼等，是一个集成了各种感应组件的，类似于多功能桌面的装置（如图），其操作方法类似于触屏电脑，简单方便。该款产品主要采用触屏设计。3、人机交互技术在各个领域的应用（1）工作事故，健康与安全包括事故与安全；事故调查；事故改造；健康与 安全；健康人机工程；危险分析；健康与安全课题；健康与安全规

4、则的应用；工业工作压力；机器防护；安全文化与安全管理；安全文化评价与改进；警示与提醒技术；安全概率分析；（2）人体工作行为解剖学和人体测量解剖学；人体测量；人体测量和工作空间设计；生物力学；残疾人设计；姿势和生物力学负荷研究；工作中的滑倒、差错研究；背部疼痛；听觉障碍研究；（3）认知工效学和复杂任务认知技能和决策研究；法律人机工程；团队工作；过程研究；（4）计算机软件人机工程软件设计；软件发展；软件人机工程；执行和可用性；（5）计算机终端：设计与布局计算机产品和外设的设计与布局；计算机终端工作站；显示屏设备与规则；显示屏健康与安全；DSE和手动操作；顺从测量；DSE人机评价；VDUs 和办公环

5、境人机工程研究；（6）显示与控制布局设计显示与控制信息的选择与设计（7）控制室设计控制台和控制室的布局设计；控制室人机工程；（8）环境人机工程环境状况和因素分析；噪音测量；工作中的听力损失；热环境；可视性与照明；工作环境人机工 程；振动；（9）专家论证：多工作环境专家论证调查研究；法律人机工程；工业赔偿申诉；伤害诉讼；伤害原因；诉讼支持；（10）人机界面设计与评价人机界面的设计与发展；知识系统；人机界面形式；HCI/MMI原型；GUI原型；（11）人的可靠性人的失误和可靠性研究；人的失误分析；人因审查；人因整合；人的可靠性评价；（12）工业设计应用信息设计；市场/用户研究；医疗设备；坐的设计与

6、舒适性研究；座椅设计与分类；家具分类与选择；（13）工业/商业工作空间设计工业工作空间设计；工业人机工程；工作设计与组织；人体测量学与工作空间设计；工作空间设计与工作站设计；警告、标签与说明；工作负荷分析； （14）管理与人机工程变化管理；成本-利益分析；突发事故应变研究；人机战略实施；操作效能；操作负荷分析；标准化研究；人力资源管理；工作程序；人机规则和实践；（15）手工操作负荷：安全与培训手工操作评价与培训；手工操作与举力；手工操作负荷（16）办公室人机工程与设计办公自动化；办公室和办公设备设计；办公室设计人机工程；DSE人机工程；（17）生理学方面和医学人机工程生理学；生理能力；医学人机

7、工程；医学设备；心理生理学；行为期望；行为标准；（18）产品设计与顾客人机工程销售与市场；产品设计与测试；产品中人机工程；产品发展；产品可靠性与安全性；产品缺陷；产品材质；服装人机工程；（19）风险评估：多种工作状况风险与成本-利益分析；风险评估与风险管理；风险预测；总体骨骼、肌肉风险研究；（20）社会技术系统与人机工程组织行为；组织变化；组织心理学；人机工程战略；社会技术系统；暴力评估与动机；（21）系统分析系统分析与设计；系统整合；系统需求；电信系统与产品；人机系统；Manprint；人员配备研究；三维人体模型；实验设计；系统设计标准与类别；通信分析；（22）任务分析任务分析与工作设计；任

8、务分析与综合；团队协作；（23）管理培训与人员培训人机工程培训；整体培训；认知技能/决策分析；工程师培训；STUDIO中的训练；训练模型；培训需求分析；（24）可用性评估可用性评估与测试；可用性审核；可用性评估；可用性培训；试验与验证；仿真与试验；仿真研究；仿真与原型；（25）用户需求与用户指导用户文档；用户指导；用户手册与说明；用户界面设计与原型；用户需求分析与类别；用户实验管理；（26）车辆与交通人机工程航空；直升机人机工程；头盔显示；乘客环境；铁路车辆与系统；交通设计；车辆设计；车辆人机工程；车辆安全性 （27）与工作有关的骨骼、肌肉问题骨骼、肌肉紊乱；重复劳动的疲劳损伤；与工作有关的骨

9、骼、肌肉管理问题；上肢损伤；（28）其它特殊的人机工程应用原子能；军队人机工程；军队系统；过程控制；5、心得（结论） 在本次试验中一共有三个实验要求。第一是寻找体现人机交互的视频，我选择的是透视显示屏。如视频中所见，人机互动的方法已经从平面的触屏显示升级到了3D互动。这项技术已经在现实生活中实现。在视频中虚拟的小球，篮筐等虚图像可以根据不同的动作做出反应。越来越体现出机器的智能化，这其中智能软件的开发与换代起着至关重要的作用。 第二是搜寻关于eTable的资料。eTable是智能触屏手机的延伸，是未来网络生活的一个硬件条件，它使显示屏不再局限在某处。eTable技术使任何地方都能显示，在未来联

10、网的条件下几乎无所不能。 第三是人机交互技术在各个领域的应用。人机交互几乎可以应用在人类生活中的任何方面。工作、学习、通讯、交通、医疗、军事。例如：语音识别在日常生活中可以形成导航系统，方便驾车时使用。手势识别可以在小型机器控制中使控制更方便灵活。辅导教师 常旭青 成绩 实验日期实验时间1实验名称 ：立体视觉2、实验目的掌握立体视觉的原理。3、实验要求通过网络查询立体视觉相关知识。1、在虚拟环境是如何实现立体视觉？2、3D和4D电影的工作原理。4、实验内容1、在虚拟环境是如何实现立体视觉？虚拟现实（virtual reality，简称vr），是一种基于可计算信息的沉浸式交互环境，具体地说，就是

11、采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生“沉浸”于等同真实环境的感受和体验。vr带来了人机交互的新概念、新内容、新方式和新方法，使得人机交互的内容更加丰富、形象，方式更加自然、和谐。在虚拟环境实现立体视觉的条件有1.实物虚化（1）基本模型构建技术（2）空间跟踪技术（3）声音跟踪技术（4）视觉跟踪与视点感应技术2.虚物实化（1）视觉感知（2）听觉感知（3）力觉和触觉感知 3.高性能计算处理技术（1）服务于实物虚化和虚物实化的数据转换和数据预处理；（2）实时、逼真图形图像生成

12、与显示技术；（3）多种声音的合成与声音空间化技术；（4）多维信息数据的融合、数据转换、数据压缩、数据标准化以及数据库的生成；（5）模式识别。如命令识别、语音识别，以及手势和人的面部表情信息的检测、合成和识别；（6）高级计算模型的研究。如专家系统、自组织神经网、遗传算法等；（7）分布式与并行计算，以及高速、大规模的远程网络技术。4. 分布式虚拟现实通过姿势、声音或文字等“在一起”进行交流、学习、研讨、训练、娱乐，甚至协同完成同一件比较复杂的产品设计或进行同一艰难任务的演练。2、3D和4D电影的工作原理在普通投影数字电影基础上，在片源制作时，片源画面使用左右眼错位2路显示，每通道投影画面使用2台投

13、影机投射相关画面，通过偏振镜片与偏振眼镜，片源左右眼画面分别对映投射到观众左右眼球，从而产生立体临场效果。3D立体影院一般设计成弧幕形式，立体感更强。4D影院是相对3D立体影院而言的，就是在3D立体影院基础上，加上观众周边环境的各种特效，称之为4D。环境特效一般是指闪电模拟/下雨模拟/降雪模拟/烟雾模拟/泡泡模拟/降热水滴/振动/喷雾模拟/喷气/喷雾/扫腿/耳风/耳音/刮风等其中的多项。4D影院的设备构成相对较为复杂，3D立体设备基础上，加特效座椅以及其他特效辅助设备。4d电影也叫四维电影，由三维立体电影和周围的环境模拟组成的四维空间，它是在3d立体电影的基础上加环境特效、模拟仿真而组成的新型

14、影视产品，通过给观众以电影内容联动的物理刺激，来增强临感 的 效 果 。当 观 众 在 看 立 体 电 影 时，顺 着 影 视 内 容 的变化，可实时感受到风暴、雷电、下雨、撞击、喷洒水雾、拍腿等身边所发生与立体影象对应的事件,4D D电影院等功能的，以气动为动力的。环境模拟仿真是指影院内安装有下雪、下雨、闪电、烟雾等特效设备，营造一种与影片内容相一致的环境。以上两类电影都有身临其境，惊险刺激的效果。这两项电影既有共性，也 有个 性。身临其镜、惊 险 刺 激、感 受 科 技 是它们的共性；一个是在运动中感受刺激、一个是在视觉中感受刺激，这是它们的个性。5、心得（结论）1. 根据用户参与形式和沉

15、浸的程度不同可以把各种类型的虚拟现实技术划分为以下的4 种类型：桌面虚拟现实系统。沉浸虚拟现实系统。增强虚拟现实系统。分布式虚拟现实系统。根据仿真程度的不同,又可将虚拟现实分为以下3类: 仿真性的虚拟现实系统。超越性的虚拟现实系统。幻想性的虚拟现实系统。而想实现实现立体视觉必须实现以下方面沉浸感:必须存在一个由计算机生成的虚拟场景,这个虚拟场景能令用户暂时脱离现实世界,产生一种现场感。互动性:用户必须能与这个虚拟场景进行互动,产生一种参与感。想象力:这种互动可以是感官上的,也可以是心理上的。这里的现场感和参与感是以用户的主观心理为衡量标准的。2. 而作为立体视觉的直观体现，3D与4D电影早已进

16、入我们的生活。4D电影是将震动、吹风、喷水、烟雾、气泡、气味、布景，人物表演等特技效果引入3D电影（即立体电影）中。形成一种独特的表演形式，这是当今流行的4D电影。实际上这是一个伪概念，1D（一维）指的是只有长或宽，2D是指有长和宽，3D是指有长宽高，4D则是指带有时间维度的3D，所以这里的4D是一个伪概念。比如我们就生存在三维空间（3D），时间与空间是整体，不能分割。也有说我们处于四维，空间三维，时间一维。时间轴上每一点都是一个三维的场景组成，这才构成世界。所以这是伪概念。实际上我们所玩的3D游戏只是在平面表现空间，实际意义只能说是2D，而真正的3D是全息投影。在3D与4D电影的发展中裸视与

17、除视觉外其他感官的互动也成为趋势辅导教师 常旭青 成绩 实验日期实验时间1实验名称 ：交互设备2、实验目的掌握常用的交互设备的工作原理如键盘、鼠标、显示器、扫描仪。3、实验要求通过网络查询人机交互设备相关知识。1、重点查找液晶显示器和扫描仪的工作原理和方法2、什么是数字纸？工作原理是什么？4、实验内容1、重点查找液晶显示器和扫描仪的工作原理和方法液晶显示器的原理是在彩色LCD面板中，每一个像素都是由三个液晶单元格构成，其中每一个单元格前面都分别有红色，绿色，或蓝色的过滤器。这样，通过不同单元格的光线就可以在屏幕上显示出不同的颜色。LCD不存在聚焦问题，因为每个液晶单元都是单独开关的。这正是同样

18、一幅图在LCD屏幕上为什么如此清晰的原因。扫描仪是图像信号输入设备。它对原稿进行光学扫描，然后将光学图像传送到光电转换器中变为模拟电信号，又将模拟电信号变换成为数字电信号，最后通过计算机接口送至计算机中。光电转换是扫描仪的核心工作原理。扫描仪的性能取决于它把任意变化的模拟电平转换成数值的能力。2、什么是数字纸？工作原理是什么？就是以数字技术搭建的符合传统纸张特性的技术平台，用于将传统基于纸张的应用e化。数字纸张技术使原来基于纸张的使用习惯、制度法规、工作方式等都能平滑过渡到数字形态，为推进信息化提供了关键性的技术支撑。数字纸张技术至少具备以下特征：足够强的版面描述能力，凡是能印在纸上的都能表示

19、:在不同的计算机环境都能保持版面一致。它还具备元数据、导航、自动导读、超链接、内嵌式信息安全等增强数字特性，以及数字技术所共有的占用空间小、便于检索、无限距离传输、不失真复制、存储复制传输几乎零成本、处理时间几乎为零等特性。一个能够模拟纸张的特性同时又能为各应用系统所使用的通用技术平台，就成为信息化建设的一个关键性技术，这也正是数字纸张技术所能达到的目的。它是IT产业的一项新兴的核心技术，将在未来发展到与数据库技术类似的产业高度，成为撬动上千亿美元庞大市场的关键技术。 工作原理：1.液晶方式该方式是利用施加电压后分子排列被改变的液晶的性质，通过调整透光率及改变光线的方向来表达反差，笔记本电脑等

20、产品上的液晶显示器已为我们所熟知。电子纸液晶显示器的制作思路是，将液晶板与写入图像的装置部分相分离以实现薄型化和轻量化，并能卷曲，做成像纸一样的东西。写入可利用施加光、热、表面电荷等各种方法来实现。2.电泳方式该方式是利用在电压下能够改变黑白状态的微胶囊来实现图像显示的。微胶囊中带电的白色氧化钛颗粒和黑色碳粉粒子在电压下上下移动，从而绘制出黑白图像。其特点是在反差、明亮度视觉等方面较理想，耗电低，重量轻而容易使其薄型化，形状自由等。此外，有的产品是利用带电色粉的电泳现象，通过加大色粉的密集度来提高黑白反差的。5、心得（结论） 液晶显示器绿色环保，它的能源消耗相对于传统的CRT来说，简直是太小了

21、；对于逐渐引起国人重视的噪音污染也与它无缘，因为它的自身的工作特点决定了它不会产生噪音；液晶显示器还有一个好处就是发热量比较低，长时间使用不会有烤热的感觉，这一点也是以前的显示器无可比拟的。于此同时减少辐射，降低环境污染而数字纸张技术从某种意义上说是数字时代的“造纸术”。我国的第一次造纸术把竹子做成纸张，而不是竹简，引发了第一次信息载体的历史性进步，第二次“造纸”运动将从数字纸张技术开始，因此，数字纸张很可能会成为第二次造纸发明。这两项技术的发明使人类面临无纸化时代。辅导教师 常旭青 成绩 实验日期实验时间1实验名称 ：移动界面设计2、实验目的掌握移动界面设计的原则。3、实验要求比较移动界面设

22、计与WEB界面设计有什么相同和不同。4、实验内容不同之处：移动界面设计：手机用户界面设计的一个中心问题就是让手机用户界面达到便于用户使用。 手机提供新功能、个性化服务的同时也增加了交互界面的复杂性，因此，手机视觉界面设计应遵循易识别、易理解、降低用户认知负担的设计原则。操作流程应简单、方便、高效。操作方式应符合人的心理和生理习惯。但是手机交互界面的设计也不能纯粹追求易用和高效率，同时要体现出情感化和人性化；其次，要注意细节的设计，让用户在细节之中体会到新功能、新技术的趣味性。在设计优秀的交互产品中发现，易用、高效与人性化、趣味性并不矛盾，比如， iPhone、iPod、android 的交互界

23、面设计，不仅高效易用，且操作的同时颇具趣味性。 手机是一种移动设备，交互界面的设计要考虑到手机的两大特征：移动性和便携性。由于手机大小的局限性，必须考虑到用户使用手机时空间的限制，不能在同一界面呆的时间太久，所以界面要体现简洁、易理解、使用户一目了然、提高操作效率的设计原则。对于用户常用的几个操作界面，要尽量简化，使用户操作更加方便快捷。总之，手机交换界面的设计要遵循易用性、易理解性、高效、人性化、情感化的设计原则。WEB界面设计：1、简约设计中的一个著名原则是“少胜于多”，这点在界面设计中同样有效。首先，文字需要尽可能的简短和突出重点；计算机显示屏的浏览效率是纸面媒介的75%，用户阅读屏幕文

24、字要慢25%,并感到不适，所以79%用户浏览网页的方式是扫描，也就说用户在浏览网页时希望快节奏，多数情况下不会逐字逐句阅读，而是用眼睛扫视，发现自己感兴趣的字句才停下来阅读。因此表达同样意思应该用更少的文字。显示屏上大面积的浏览容易让人厌倦，并且会成为用户离开网站的动机。消费者的大脑对信息的记忆是有限的，心理学家指出人类的心智不能同时与7个以上的单位答交道。必须集中火力传达重点信息，并致力于区巩固它，这样，才能完成信息的有效传达，才能有效引导用户采取行动。网络发展前期阶段，网络的使用者主要是男性技术工作者，他们可以接受和理解网络上繁杂的功能和操作方式，但随着其它类型用户的逐渐增多，设计越来越要

25、求简洁。因此，设计上的简约是网络和用户之间产生良好互动的前提。为了实现这一点，需要掌握以下几个技巧；（1）诉求单一；（2）去掉页面上可有可无的链接、按钮和选项，干扰越多，用户能够快速找到有用信息的几率就越少。（3）用最少的文字体现信息；（4）使用简短的段落、副标题和项目列表，采用条目式显示。（5）用留白帮助用户理解信息的分组。（6）功能操作的设计需要简洁明了，易接受、易学习，在每一步和任何状态下都有简洁的引导。2、明确在网络上，用户没有耐心和时间去分琢磨含糊不清的信息。有调查显示，如果用户不能在第一眼搞明白这个网站能帮他做什么她会在三秒之内选择离开。因此，对于网站能够让用户作什么，希望用户作什

26、么，需要用最明确的方式在几秒内传给用户，内容涉及需要明确而重点突出，要采用利于“扫描”的呈现方式。文字是视觉流程中传达信息的重要因素，根据消费者对广告的接触程序AIDA（即注意、兴趣、欲望和购买行动的程序），诉求对象的兴趣一般是由图象激发起来的，而欲则是文字作用的结果。文字会从更深的心理层次对消费者产生影响并使其发生状态转变。做到设计明确同样也有几个技巧。（1）语言肯定而明确。（2）突出重点信息，强调关键字。（3）标题则是所有文字中最重要的因素，因为它影响着受众是否会“看下去”。特别是对于网站，是否能吸引人们点击到指定页面，标题是关键因素之一。必须在标题中直接、明白地日出所要传达的主体信息，并

27、且要引起访客的好奇和兴趣。对于整篇的文字，也尽量用标题的方式呈现或组织，以助于用户阅读。（4）要保持字体的可辨识性，必要时使用大字体。（5）非IT行业的用户和女性特别强调概念的简单明了、浅显易懂，过于专业化的措辞和呈现，可能会让他们不明所以。（6）对不同用户会有不同选项的页面，要有明确的引导。3、习惯人是一种习惯性生物。操作是否流畅、好事，取决于他既有经验和习惯，必须首先了解和尊重用户的习惯。习惯不是不可以更改的，但要付出代价。比如，下划线是一种用户已经养成习惯的士别链接的方式，如果想用这种方式表示链接以外的意思，就需要考虑用户是否能理解和接受。从罹患上来说，如果一种新方式实际操作的渐变性没有

28、达到原有方式的1.5倍，那么也许代价大约收获。4、兴奋太多的信息、太多的选择、乏味的页面和陈述早已经无法引起用户的兴趣。如果让用户采取行动，哪怕一个点击，都需要给用户一个理由先，只有让用户兴奋起来，用户才能主动采取积极的行动。（1）使用高的对比色彩。（2）使用令人兴奋的图片和语言。（3）网络设计需要保证内容的即时更新，已增强用户的参与性；或者考虑加入“信息有效性”等提示。信息更新快，这是让用户建立信任和产生兴趣的前提，所以保持新鲜感是吸引访问者的一个好办法。相同之处：1) 常用按钮要支持快捷方式。2) 完成同一功能或任务的元素放在集中位置，减少鼠标移动的距离。3) 界面要支持键盘自动浏览按钮功

29、能，即按Tab键的自动切换功能。4) 界面上首先应输入的和重要信息的控件在Tab顺序中应当靠前,位置也应放在窗口上较醒目的位置。5) 分页界面要支持在页面间的快捷切换，常用组合快捷键Ctrl+Tab6) 默认按钮要支持Enter和选操作，即按Enter后自动执行默认按钮对应操作。7) 可写控件检测到非法输入后应给出说明并能自动获得焦点。8) Tab键的顺序与控件排列顺序要一致，目前流行总体从上到下，同时行间从左到右的方式。9) 复选框和选项框，按选择几率的高底而先后排列。10) 复选框和选项框要有默认选项，并支持Tab选择。11) 界面空间较小时使用下拉框而不用选项框。12) 选项数较少时使用

30、选项框，相反使用下拉列表框。13) 根据用户不同采用相应的词语语气语调，如专用软件，可以出现很多专业词汇；用户为儿童：这可以语气亲切和蔼；老年用户则应该成熟稳重。14) 鼠标为不可点击状态时显示箭头，可点击状态显示手型；系统忙时显示沙漏形状5、心得（结论）规范性规范 菜单前的图标能直观的代表要完成的操作。 工具栏要求可以根据用户的要求自己选择定制。 系统常用的工具栏设置默认放置位置。 工具箱要具有可增减性，由用户自己根据需求定制。 状态条要能显示用户切实需要的信息，常用的有、目前的操作、系统状态、用户位置、用户信息、提示信息、错误信息等，如果某一操作需要的时间较长，还应该显示进度条和进程提示。

31、 滚动条的长度要根据显示信息的长度或宽度能及时变换，以利于用户了解显示信息的位置和百分比。 状态条的高度以放置五号字为宜，滚动条的宽度比状态条的略窄。 菜单和工具条要有清楚的界限;菜单要求凸出显示，这样在移走工具条时仍有立体感。 工具条一般比菜单要宽，但不要宽的太多，否则看起来很不协调。帮助规范 帮助文档中的性能介绍与说明要与系统性能配套一致。 打包新系统时，对作了修改的地方在帮助文档中要做相应的修改。 在界面上调用帮助时应该能够及时定位到与该操作相对的帮助位置。也就是说帮助要有即时针对性。 用户可以用关键词在帮助索引中搜索所要的帮助，当然也应该提供帮助主题词。 如果没有提供书面的帮助文档的话，最好有打印帮助的功能。 在帮助中应该提供我们的技术支持方式，一旦用户难以自己解决可以方便的寻求新的帮助方式。合理性规范 与正在进行的操作无关的按钮应该加以屏蔽(Windows中用灰色显示，没法使用该按钮)。 对可能造成数据无法恢复的操作必须提供确认信息,给用户放弃选择的机会。 非法的输入或操作应有足够的提示说明。 对运行过程中出现问题而引起错误的地方要有提示，让用户明白错误出处，避免形成无限