智能科学技术导论 第09讲行为展现概要.docx

智能科学技术导论 第09讲行为展现概要.docx

《智能科学技术导论 第09讲行为展现概要.docx》由会员分享，可在线阅读，更多相关《智能科学技术导论 第09讲行为展现概要.docx（12页珍藏版）》请在冰豆网上搜索。

智能科学技术导论第09讲行为展现概要

智能科学技术导论

第09讲行为展现

主讲:

周昌乐教授

福建省仿脑智能系统重点实验室

厦门大学智能科学与技术系周昌乐教授教学课件

dozero@

导语

在智能科学技术研究领域,普遍忽视有关智能行为展现方面的研究,不过评判机器有无智能能力,因为他心知问题的困境,主要还是要通过行为表现来进行,因此智能行为展现是机器智能不可或缺的一个重要环节。

实际上,智能机器人的研究开发,与一般智能系统的不同之处,主要也就在于其独特的智能行为表现之上了。

因此,本讲我们将主要介绍有关智能行为展现方面的研究问题。

福建省仿脑智能系统重点实验室2

行为表征主要是通过人体运动及其组合来实现的,可以这么说,有目的意图的运动,就是行为。

所以说运动是行为的基础,而就人体而言,各种运动的控制实现主要是通过中枢神经系统控制肌肉收缩来完成的。

一般将与运动控制关系最为密切的神经系统部分称为运动系统。

当然,当涉及到行为,这样的运动神经活动还与动机、学习、记忆等脑的高级功能相关联。

福建省仿脑智能系统重点实验室3

人体的运动可以分为三类,即反射运动、节律运动和随意运动。

反射运动不受意念控制,只要有特异刺激出现,就会自发出现。

这种反射运动一般在很短时间就可以完成,涉及到的神经区域也较小,比如打喷嚏之类。

节律运动是指那种有规律的自觉运动,如呼吸、咀嚼、行走等,可以随意开始或终止,但一旦开始就会自动重复进行,而不再需要意识参与。

福建省仿脑智能系统重点实验室4

最后,最复杂的是随意运动。

这是一种具有行为目的、可以按照意愿随时改变、反映主观意愿的运动。

随意运动涉及的脑区比较广泛,需要的时间也较为长久。

熟练的随意运动需要一段时间的学习训练,但一旦熟练掌握了某种技能运动,往往就形成固定的程式,成为记忆“运动程序”,随时可以调用。

福建省仿脑智能系统重点实验室5

所有的运动都是靠严密组织的肌肉系统来实施的。

具体地说就是肌肉的收缩或舒张就产生了运动。

而肌肉的收缩或舒张是受神经信号控制的,包括控制运动的位移、速度、加速度、力度等多种参数的信号。

当然,为了通过运动可以精确持续地完成控制复杂行为,感觉信息的不断反馈也是非常重要的,包括（1视觉、听觉、皮肤触觉的定位信息;（2肌肉、关节和前庭器官本体的长度、张力、位置等感觉信息。

福建省仿脑智能系统重点实验室6

在行为运动控制

中,运动神经系统起着

关键作用,大致来说,

控制运动的主要神经系

统如图所示。

就人体而

言,运动神经系统是由

三个水平的神经结构分

级构成的,从低到高分

别是脊髓、脑干的下行

系统、以及大脑皮层的

人脑运动神经系统运动区。

福建省仿脑智能系统重点实验室7

脊髓是位于最低水平的运动控制结构,其中的运动神经元支配骨骼肌,控制肌肉收缩来实现反射运动或随意运动。

运动控制第二个水平的神经结构是脑干下行系统,包括内侧和外侧两个部分。

内侧下行系统主要支配躯干中线的肌肉和肢体近侧肌肉,对整体运动进行控制,保持机体平衡、维持直立姿势、整合躯体和肢体运动（如朝向运动、控制单个肢体的协调运动等。

外侧下行系统则与肢体远端肌肉的控制有关,涉及诸如手及手指的精细运动的控制。

通常,脑干下行系统接受感觉运动皮层的指令,因此在整个运动神经系统中,大脑皮层可以通过脑干下行系统来对脊髓进行间接控制。

福建省仿脑智能系统重点实验室8

大脑皮层运动区是运动控制的最高水平中枢,大致构成包括有初级运动皮层、外侧前运动皮层或前运动区、以及辅助运动区三个部分组成。

后两个部分均有神经纤维投射到初级运动皮层。

而三个部分则均直接投射至脊髓或经脑干下行系统影响脊髓。

值得注意的是,运动皮层中神经组织对应所控制躯体部分具有拓扑相邻对应性（躯体部分对应皮层划分情况参见侏儒图,比如控制手运动的大脑皮层初级运动区的手区与辅助运动区的手区及脑干控制手运动部分相关联。

福建省仿脑智能系统重点实验室9

运动神经中枢涉及的脑区运动躯体感觉侏儒图

福建省仿脑智能系统重点实验室10

辅助运动区又可分为三个部分,即与高层次运动控制有关的前辅助运动区、与简单运动任务有关的新辅助运动区和辅助眼区。

有关反映血流变化的实验表明,当被试不做任何动作,只是默想手指运动的次序时,只有辅助运动区的血流是增加的,可见辅助运动区对于开展脑机接口控制运动的重要性。

除了上述运动神经系统外,与运动控制调节相关的其他神经结构还包括小脑和神经基底节。

小脑主要提高运动精度,而神经基底节则建立运动皮层与其他脑区的联系,比如额叶皮层。

福建省仿脑智能系统重点实验室11

归纳起来,人类运动程序产生的过程大致如此:

（1根据运动动机愿望、获得的感觉信息以及人体自身状况,大脑联络皮层产生运动动作的粗略规划;（2大脑皮层对粗略规划进行分析、处理与解释,形成更为详细的运动系列;（3对运动系列的时空图式进行内部模拟;（4最后,驱动运动系列的实施。

联络皮层运动规划辅助运动区

内部模拟

运动前区

运动程序

初级运动区

运动指令

小脑

福建省仿脑智能系统重点实验室12

其中第一步运动规划涉及到具身性认知机制。

所谓具身性认知机制,主要是指近年来认知科学、心智哲学、神经科学、语言科学以及人工智能等不同领域共同认识到的人类认知活动的一种根本规律:

认知是依赖于我们有机体的身体,依赖于我们不同的经验种类的,依赖于认知主体的语言、意向性行为和文化情境的。

这样一来,要构建一种有效的行为表征方法,就必须考虑到这种具身认知,并结合运动神经机制的发生规律,来实现机器人的行为展现。

福建省仿脑智能系统重点实验室13

2004年,美国计算机学者罗森博格（GreggRosenberg和安德森（MichaelL.Anderson提出了“表征的指南理论”Theguidancetheoryofrepresentation（GTR,将表征解释为行动的指南。

“Representationcanbeaccountedforintermsofthewaytheyprovideguidanceforaction.”就是这样的一种尝试,值得推荐。

福建省仿脑智能系统重点实验室14

依照这一理论,表征内容是从表征媒介的作用中产生的,这种作用是指表征媒介在一个主体与其他事物相关的行动中所起的指导作用。

严格讲,一个经验因素只有当它能够为一个主体采取与某些对象（entities相关的行动提供指导作用,才有资格充当表征。

这里的行动既包括运动神经过程,也包括推理等认知过程（motorprocessesandcognitiveprocesses。

这种基于行动的意向性来理解表征最重要的一点是,对于正确理解为什么会采取一个针对某对象的行动,不需要回溯到心理意向性的说明。

福建省仿脑智能系统重点实验室15

一个主体（subject是任何使用表征的认知引擎（representation-consumingcognitiveengine。

成为一个表征使用者（representationconsumer,必须能够以合乎理性的、目标导向的方式与世界交互作用,这至少意味着它从认知系统的范例那儿接受行动指导。

按照安德森,一个认知主体称其为主体是由于有适合环境、由环境选择,在个体的进化中有与环境的交互作用。

福建省仿脑智能系统重点实验室16

表征一定是在特殊情境中的表征:

一个情境circumstance是主体（subject自身的境况。

由主体的内部状态,包括主体的身体变化、历史记录、表征、期望、优先性、价值、行动的选择、与群体和谐的自我评价、如何行动的程序性知识、运动模式和主体当下所处的环境等因素构成。

福建省仿脑智能系统重点实验室17

当然,目前的机器人行为表征还不可能完全实现这样的理论构想,我们目前首先面临的是机器人的运动控制（比如机器人跳江南style就是如此,行为只有给予运动及其组合之上,才能够得以表征。

因此,接下来我们介绍机器人的运动控制问题。

福建省仿脑智能系统重点实验室18

在智能科学技术领域,行为控制主要是指智能机器人的运动控制问题,大约包括智能机器人导航、路径规划、智能行为规划与执行等内容。

当然运动与视觉协调密切相关,因此运动控制常常与主动视觉与目标跟踪相互配合,需要考虑选择性注意计算模型的有机融合问题,这也是行为控制的一个难点。

福建省仿脑智能系统重点实验室19

人类眼球运动可以通过断续性扫视、平稳性跟踪以及辐射运动等形式来保持对视觉目标的主动跟踪。

对于机器人而言,这里需要解决二个问题,一是注意选择问题,即如何选择跟踪的目标,二是保持目标的跟踪问题。

这些都是主动视觉研究的问题,在根据外界环境变化来不断调整自己行为的控制,起着重要作用。

福建省仿脑智能系统重点实验室20

具备一定的视觉能

力,机器自动导航需要解

决的问题分解开来有这样

三点:

（1现在何处?

（2要往何处去?

（3

如何去?

相当于说给定出

发点、目的地以及路径,

因此机器人自动导航问题

主要是一个路径规划问

我们的机器自动导航题。

福建省仿脑智能系统重点实验室21

目前解决这样一个问题的主要环节大致有:

地图构建、定位、路径规划,以及躲避障碍等方面。

（1地图构建:

明确机器人活动范围的整

体路线及其各种坐标参考标志物;（2定位:

通过一定的检测手段来获取机器人在空间中的位置、方向以及环境信息,并通过据此建立动态环境模型;（3路径规划:

寻找最优或极优无障

路径,引导机器人安全移动到达目的地;（4

躲避障碍:

给出灵活躲避障碍的策略,特别是非固定障碍的躲避策略。

福建省仿脑智能系统重点实验室22

机器人自动导航是机器行为控制中的核心技术之一,也是移动机器人的基础技术。

尽管已有大量研究工作,却依然是一项具有挑战性的研究课题,特别是对于开放环境,更是如此。

可以用于机器人自动导航的传感器主要包括磁场导航仪、惯性检测仪、激光测距仪、视觉摄象机、磁场罗盘仪、光电编码器、超声测距仪、红外测距仪、里程计等等。

福建省仿脑智能系统重点实验室23

目前主要采用的方法包括:

（1基于预先保存的地图进行导航,主要采用路径跟踪与避障技术来完成导航任务;（2通过动态创建的地图

进行导航,需要利用各种传感器来获取环境与距离信息,动态建立即时环境的几何模型或拓扑地图,然后引导机器人导航任务的完成;（3无

地图试探性导航,利用对环境信息的实时检测技术来获取各种对周遍环境物体的识别,并作为自动导航的路标依据。

福建省仿脑智能系统重点实验室24

视觉导航系统主要通过视觉传感器（又包括双目立体视觉、单目普通视觉、红外成像视觉等对障碍和路标进行探测、识别与分析,来进行路径选择,完成导航任务,因此其中的路标检测、障碍规避以及路径跟踪就成为主要的组成部分。

而非视觉导航系统则是通过其他探测手段来进行导航,比如激光、超声、磁场等。

目前更多的导航系统是两种技术的混合,兼顾视觉与非视觉各自的优点。

福建省仿脑智能系统重点实验室25

地图

外界环境

障

碍

识

别

激光测距

视频获取避

障

定

位

红外测距

智

能

机

器

人

控

制

模

块

路

径

规

划

导航地图

环境建模智

能

机

器

人

执

行

机

构智能机器人自主导航系统的结构框架

福建省仿脑智能系统重点实验室26

除了按照使用的技术加以区分外,也可以按照适应的范围来划分智能机器人自动导航系统,分为封闭导航（在已知封闭的环境中,比较容易实现与开放导航（在未知开放的环境中,存在诸多挑战。

但不管采用哪种策略,智能机器人自主导航系统均采用如上图所示的结构设计框架,从中可见机器导航系统的一般组成原理。

福建省仿脑智能系统重点实验室27

除了基础性的机器人

导航之外,更一般的机器

运动控制包括更多的内

容,主要原则就是要在了

解智能机器人运动规律

（属于智能机器人运动学

研究的内容的基础上,

利用行为规划算法与行为

执行程序,来实施具体的

我们的抓取机器手行为动作,比如行走、抓

取、坐卧等。

福建省仿脑智能系统重点实验室28

开启酒瓶倒饮料

福建省仿脑智能系统重点实验室29

各种抓握机器手

福建省仿脑智能系统重点实验室30

控制机器手书写福建省仿脑智能系统重点实验室31

另外,我们也采用NAO机器人通过行为生成器来生成各种需要的行为。

行为生成器由神经网络群控制,同时利用其他方面软件的补充功能。

例如,NAO机器人的运动

类型有几百种（直走、转弯、举手、点头,等等,利用NAO机器人厂家（法国Aldebaran编写的特殊软件Choregraphe控制。

另一方面,复杂运动（如抓通过进化的神经网络模块进行,因为预编程的过程无法处理这些动作。

对象识别完全由进化模块分解为一系列简单运动指令。

事件识别也是如此（例如识别一个人什么时候抬腿迈步、举手投足、抛球,等等。

福建省仿脑智能系统重点实验室32

行为生成器和感知处理器主要由神经网络控制,通过神经网络模块进化器组件控制,同时利用其他方面的补充功能。

NAO机器人的基本运动的类型有几百种（直走、转弯、举手、点头,等等,利用NAO机器人厂家编写的特殊软件控制。

而复杂运动（如抓通过进化的神经网络模块进行,因为预编程的过程无法处理这些动作。

当智能引擎作出一个复杂动作的指令后,神经网络进化器将指令分解一系统连接的简单指令,送机器人执行。

福建省仿脑智能系统重点实验室33

作为更加复杂的社会行为,假设小狗要向一个陌生人讨球,然后把球给老师。

这个问题的难点在于小狗讨球时不同的人可能有不同的反应。

学习物理行为时使用的内部模拟方法这里变得更加复杂,因为学习系统需要模拟人的行为,非常复杂,具有不确定性,因此除了模拟还要有推理。

这方面已经进行一些原型试验,我们已经采用或然推理在虚拟世界中教授虚拟agent进行学习。

但在物理机器人方面,仍然需要大量研究和试验。

福建省仿脑智能系统重点实验室34

许多证据表明,人类通过模拟和推理模仿别人,一些研究工作通常采用这个办法。

这方面已经进行一些原型试验,我们可以采用或然推理在虚拟世界中教授虚拟agent进行学习。

但在物理机器人方面,仍然需要大量研究和试验。

此时,样本在模仿中至关重要,利用人的反馈作为适应性函数,即使学习简单的行为也需要大量强化试验。

其中关键在于适应性估计,不加试验而猜测一个过程来完成老师定义的某个行为的适应性。

福建省仿脑智能系统重点实验室35

因此为了产生更加合理的行为模仿,机器人系统需要实现一种内部模拟世界的功能,涉及人类内省反思能力。

内部模拟世界中执行一个过程时,产生一个行为描述（“behaviordescription”,BD,可以用某种知识表示格式表示。

将过程产生的BD与老师让学生模仿的样本行为相比较,然后通过计算相似性来不断改进行为,直至产生与样本行为足够相似的行为为止。

福建省仿脑智能系统重点实验室36

当然,理想情况下应该让机器人学习一些基本社会行为,利用模仿与强化,组合感觉运动学习的神经网络组件和进化与推理学习的符号组件。

此时传授学习就显得非常重要,推理出有意义的结果需要知识库。

系统通过观察人的反应产生人的反应知识,包括上述学习行为和在行为学习情境之外自发观察的人类行为。

下面的列表给出了一些机器人应该学会的最基本社会行为,这样可以增加机器人的社交能力。

福建省仿脑智能系统重点实验室37

表机器人应该学会的基本社会行为

行为行为描述

身份认知机器人从中学会在当事与非当事人的身份转换。

讨回物品当A把物体扔给B时,机器人会走向B并将物体要回。

冻结身份在身份转换时,机器人必须静止不动（“冻结”直到身份确定。

引导他人机器人引导他人开展活动。

寻找物品寻找被他人占有的物品,尝试去向他们索要该物品。

福建省仿脑智能系统重点实验室38

总之,不管是自动导航,还是其他行为控制,都是智能机器人系统开发的基本课题。

如果按照人类行为的标准,目前的研究还非常初步,这是一项任重道远的研究工作。

目前的主要研究趋势主要关注仿人机器人的行为表现,因此下一

小节,我们结合仿人机器人的介绍,专门介绍在机器歌舞方面的研究状况。

我们实验室的老师开发的智能机器人玩具,有比较丰富的行为表现

福建省仿脑智能系统重点实验室39

第9.3节机器歌舞结合音乐节奏和表情生成,将智能机器人行为控制方法运用到机器人歌舞之中,就可以开展有关机器歌舞的研究工作。

能够进行歌舞的智能机器人主要属于仿人机器人,由于仿人机器人更加适应人类活动的场所环境、行为方式也符合人类的习惯并能够给人以亲近感,因此自上个世纪七十年代以来,就不断有产品面世。

福建省仿脑智能系统重点实验室40

最早开发的仿

人机器人是日本早

稻田大学加藤一郎

研究室开发的

WABOT-1型机器

人（1973年,后

来该研究室又开发

了能够演奏钢琴的

WABOT-2型仿人

机器人（1984

WABOT-2型仿人机器人年。

福建省仿脑智能系统重点实验室41

仿人机器人研究的新突

破则是1996年由日本本田技

研公司经10年精心打造的P2

仿人机器人（身高180cm、

体重210kg,也是世界上

首台能用双足稳步行进的仿

人机器人,并在1997年进一

步研制除了改进版P3（身高

160cm,重130kg。

P2仿人机器人

福建省仿脑智能系统重点实验室42

到了2000年,日本本田

公司又开发的ASIMO仿人机

器人（身高120cm,重

43kg,可遥控、双足、能

运动。

右图给出的就是这新

型的仿人机器人。

仿人机器

人的自由行走,甚至跑步,

是一个难题,在这方面有所

突破是有重要意义的。

福建省仿脑智能系统重点实验室43

仿人机器人首先涉及到是机器人的运动学,给出机器人运动的系统描述理论与方法,包括三维空间中物体转动的描述方法、角速度矢量、旋转矩阵的微分与角速度矢量之间的关系。

然后再给出根据机器人关节角度来求出手足等连杆的位置与姿态的有关方法,以及反过来根据手足连杆位置与姿态来求出机器人相应关节角度,如此等等。

福建省仿脑智能系统重点实验室44

对于仿人机器人运动而言重要的一个概念是ZMP（zero-moment-point,力矩分量为零的位点,俗称重心点,这是一个判断机器人是否摔倒、其足底是否与地面接触的指标（重心点是否超越支撑足面。

基于ZMP概念,就可以研究双足步行模式的生成和行走的控制方法。

此外,对于仿人机器人而言,还必须给出各种全身运动的控制实现方法,从而使得仿人机器人基本上能够实现类人方式的各种行为动作。

只有只样,才能够将其应用到机器歌舞的表演之中。

福建省仿脑智能系统重点实验室45

最早开展机器歌舞表演

的是在2003年,日本索尼公

司研制的ORIO,就是第一

台可以漫步、歌舞,甚至指

挥乐队的仿人机器人。

我们

实验室购买的法国NAO机器

人也是比较先进的仿人机器

人,采用这种机器人,也可

以开展有关机器歌舞方面的

研究工作。

日本开发的歌舞机器人

福建省仿脑智能系统重点实验室46

双人舞单人舞

机器歌手

福建省仿脑智能系统重点实验室47

乐队表演

人机共舞

福建省仿脑智能系统重点实验室48

舞

台

表

演

打太极拳

福建省仿脑智能系统重点实验室49

机器歌舞主要是基于情感模式分析开展有关舞蹈创作计算模型及其机器表演实现、汉语歌曲自动朗诵、哼唱、歌唱等不同形式演唱的计算模型及其机器表演实现,以及歌舞综合机器表演系统方面的研究。

具体实现方案分为两个阶段,首先主要研究以动漫人物的虚拟舞蹈动画来表现音乐形象,是音乐的一种可视化的实现形式与解决;然后实现以音乐为驱动并结合音乐自身所包含的情感特性,通过动漫人物的面部表情、舞蹈动作等表现形式,演绎音乐的内涵。

福建省仿脑智能系统重点实验室50