基于情绪识别的远程教学自适应调节策略研究.docx

基于情绪识别的远程教学自适应调节策略研究.docx

《基于情绪识别的远程教学自适应调节策略研究.docx》由会员分享，可在线阅读，更多相关《基于情绪识别的远程教学自适应调节策略研究.docx（8页珍藏版）》请在冰豆网上搜索。

基于情绪识别的远程教学自适应调节策略研究

基于情绪识别的远程教学自适应调节策略研究

　　【摘要】

　　为了提高远程学习的效率和质量，文章在分析情绪识别及其技术现状的基础上，探索性地提出了利用键盘和鼠标等常规I/O设备来感知在线学习者的情绪状况并自适应调整教学策略和学习资源内容，详细阐述了情绪特征的定性方法和定量算法，并设计了情绪识别模块嵌入连云港市教育局远程培训系统，在选修课“信息技术与课程整合”的网络教学中进行了实际应用，应用情况验证了上述远程教学自适应调节策略的可行性和有效性。

　　【关键词】远程教学；情绪识别；自适应调节

　　【中图分类号】G434【文献标识码】A【文章编号】1009―458x（2015）11―0018―07

　　一、引言

　　远程教学由于丰富、快速更新的学习资源和时空限制的突破，具有传统课堂教学无可比拟的优越性，越来越受到教育领域的关注和重视。

但是，这种时空分离的教学形式也会导致教学活动中出现严重的“情感缺失”现象[1]，如果学生长时间面对冰冷的屏幕而感受不到人机交互的愉悦，就可能引起情绪上的负面反应，影响远程学习的效率和质量。

　　教育心理学家认为情绪是影响教学活动的一个极其重要的因素，与学习认知过程密不可分。

失望、迷惘、焦虑和沮丧等负面情绪可导致思维迟钝、兴趣丧失、缺乏活力、消极懈怠和注意力不集中，不利于学习的顺利进行；而满意、自信、轻松和愉悦等正面情绪可使头脑清晰、思维敏捷、充满激情和积极主动，注意力也容易维持，有助于学习效率的提高。

相关心理学实验也验证了情绪可以影响学习的精准判断和对学习内容的加工深度。

[2]

　　因此，对远程教学中学生的情绪进行识别、分析和疏导、调节，并根据学生的学习状态自适应调整教学策略和学习内容，是当前远程教育实现智能化人机交互亟待解决的问题。

对该问题的研究在某种程度上使远程教学系统体现出了“人文关怀”的氛围和“以学生为中心”的现代教育理念。

　　二、情绪识别及其技术

　　情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。

情绪识别是近几年计算机信息科学、认知科学和心理科学研究的热点，它以人类情绪理论为基础，以情绪信息获取、情绪模式识别、情绪建模与理解、情绪合成与表达、情绪传递与交流等为研究内容，以赋予计算机类似于人的情绪能力为终极目标。

　　对情绪识别的研究始于20世纪90年代，1990年美国MIT媒体实验室设计了一个情绪识别器，对人的各种情绪进行采集分析，比如人的语音信号、面部表情等[3]；MIT实验室的Picard教授在1997年系统地提出了情绪计算的概念和基本理论[4]。

此后，欧洲和日本的各大高校和科研院所也相继成立了情绪识别的研究机构。

在我国，相关研究起步稍晚，其中研究成果比较显著的有中科院和清华大学合建的情绪计算中心（ACCenter）。

2010年中科院自动化所在武汉举办了国际情绪计算和智能交互学术会议；国际著名学术组织IEEE办有《情绪计算》专刊《IEEETransactionsonAffectiveComputing》[5]。

情绪识别的研究也受到了企业界的关注，如跨国公司IBM、微软、GOOGLE等都设有情绪识别研究小组，进行商业应用上的探索。

情绪识别是实现人机智能交互的关键技术之一，在远程教育、商业零售、刑事犯罪、公共安全和病理医疗等领域有着重要影响和广阔的应用前景。

　　一般来说，任何情绪的产生都会伴随着心理和生理上的某些变化。

因此，情绪识别的基本技术主要就是对这些人体的变化，如面部表情、语音、姿态、文本和生理状况等进行信息采集和分析。

　　1.基于面部表情的情绪识别

　　面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化表现出的各种情绪状态。

除非经过特殊训练，一般人在任何时候都会自觉或不自觉地通过面部表情流露出其真实的心理情绪。

　　基于面部表情的情绪识别系统主要包括三个部分：

人脸检测与定位、特征抽取和情绪分类。

首先，通过摄像头等图像采集器获得面部图像，并在图像中进行人脸检测，确定人脸各部位的相对位置和大小。

然后，对人脸进行特征抽取，得到反映情绪特征的关键信息。

最后，对得到的情绪特征向量进行分类，得到所属的类别。

　　特征抽取是面部表情识别中最为核心的环节，有效的特征提取会极大提高识别的准确率。

目前，基于静态图像特征提取的情绪识别准确率不高，所以大多数研究都集中在基于动态图像序列的表情特征提取上。

其中，典型的特征提取方法有元分析法、活动外观模型法、Gabor小波变换法和光流法等[6]。

　　基于面部表情的情绪识别是各种技术中实际商业应用最早和最成熟的技术。

2014年3月，脸部识别技术公司Emotient推出了一款谷歌眼镜应用软件，它可以根据脸部表情的不同，识别人们喜怒哀乐等各种情绪。

在其推广演示的测试中，情绪识别率极高，速度也非常快，无论是略带忧伤的微妙表情还是一闪即过的笑容都能被及时捕捉。

　　2.基于语音的情绪识别

　　语音是人类表达情绪的最直接方式。

但要从语音的声学特征逆向反推出情绪的类别，就当前研究现状而言实为不易。

因为除了这些声学特征复杂多变外，语音结构和语音内容还涉及自然语言理解问题。

[7]

　　基于语音的情绪识别常采用的方法是：

首先采集目标的声学特征，如基频语调、声音力度、语速缓急和流利程度等，然后将这些特征与情绪分类系统进行对照，从而判断说话者的情绪。

情绪语音库为识别提供了训练集，样本越大，情绪识别的结果越不易受个体和声音背景的干扰和影响。

　　目前，最出色的语音情绪识别企业有英国的EITechnologies、以色列的BeyondVerbal和美国的Cogito等公司。

EITechnologies公司正在研发的语音情绪识别平台，虽然准确率可以达到70%到80%，但只能识别5种基本情绪：

快乐、忧伤、平和、恐惧和愤怒。

所以，基于语音的情绪识别还有待更加深入的研究。

　　3.基于姿态的情绪识别

　　人在不同的情绪状态下，身体姿态会发生不同的变化，如焦虑时抚摸头发，高兴时手舞足蹈，恐惧时紧缩双肩，紧张时坐立不安，无可奈何时双手一摊，等等。

　　基于人体姿势的情绪识别主要是根据姿态动作的持续时间长短、频率快慢等特征进行判断，从动态图像序列中提取物理运动信息，然后跟各种情绪状态下的典型姿态模型样本进行特征比对。

[8]

　　但是，由于有较多的人体姿势和动作都不具备明显的情绪特征，并且心理学家的研究也表明，人体姿态不仅存在个别差异，而且存在民族或地域差异。

后者表现了社会文化和传统习惯的影响，同一种姿态在不同的民族中用来表达的情绪很可能不同。

所以，基于姿态的情绪识别有较大的局限性。

　　4.基于文本的情绪识别

　　根据粒度的不同，基于文本的情绪识别可以分为词语级、句子级、篇章级和海量级文本情绪倾向性判断。

主要有两种方法：

一种是基于语义词典HowNet进行分析识别，另一种是基于大规模语料库进行分析识别。

　　两种方法都需要首先对文本进行主客观分类等预处理，剔除对于实体事件及其属性的客观性陈述文本，然后从包含有丰富感情色彩的情绪观点和态度的主观性文本中抽取情绪特征词，根据预设阈值判断特征词的极性和强度，最后计算句子语义的相似度，在句子情绪倾向分析的基础上进行篇章或海量级文本的整体情绪分析识别。

[9]

　　基于文本的情绪识别是自然语言理解技术中最贴近实际需求的研究方向。

但由于自然语言处理技术在商业化应用中还存在瓶颈，目前还没有哪个软件系统能够在文本情绪识别上达到较高的准确率。

　　5.基于生理的情绪识别

　　情绪变化导致的人体生理变化只受人的自主神经系统和内分泌系统的支配，不受主观意识控制。

因此，采用生理信号测量法进行情绪识别的结果最为精确和客观。

　　跟情绪有关的生理信号一般有心电图、皮肤电反应、皮肤温度、血管压力、呼吸频率和幅度等。

[10]由于这些生理参数携带极为准确的情绪信息，所以对情绪特征的匹配和识别也显得简单易行。

　　三、基于常规I/O设备的情绪识别

　　从上述的情绪识别技术可以得知，准确率较高的主要是基于面部表情和生理信号的识别技术。

不过，这两种技术在远程教学中都不可行。

其一，在远程教学过程中显然不可能要求每个学生都佩戴既昂贵又不方便的生理监测设备，这种设备只能用于被测人员较少的特殊情况；其二，虽然现在价廉质高的摄像头成为笔记本的标配，在台式机上安装也极容易，但是，教学中启用摄像头这种显性监控设备必然让学生觉得时时刻刻有一双眼睛在盯着自己，会使他们感到不自在，甚至极度不安和压抑，严重束缚了学习和思维的活跃度。

有调查表明，绝大部分学生坚持认为，教学环境中监控设备的应用就是对他们隐私权的侵犯。

[11]所以，作为负激励措施的摄像头等显性监控，无疑给教学带来了极为不利的负面影响而不具有现实操作性。

　　因此，本研究提出在远程教学系统中利用键盘和鼠标等常规I/O设备对学生的当前情绪进行识别，并且所有与情绪相关的数据信息都是通过后台静默采集，对学生不会造成额外的负担和压力。

　　1.情绪特征的定性

　　情绪识别模块的技术基础是调用操作系统的钩子函数对学生的键盘和鼠标等常规I/O设备的击键和滚轮等操作行为进行监测，得到键鼠的击键特征信息。

　　对键盘的操作行为，主要监测记录击键频率（击键间隔时间）和击键力度（击键持续时间）两个特征向量。

以情绪平静状态下的训练样本模型中击键平均频率和平均力度作为计算基准，求这两个特征向量的标准方差，然后将标准方差值和学生模型中的情绪库（键盘三元模型）进行匹配，对其当前情绪特征作定性识别。

　　对鼠标的操作行为，只需监测记录滚轮的滚动速度（单位时间内的滚轮距离）和左键的击键频率。

同样以情绪平静状态下的训练样本模型中的滚轮平均滚动速度和平均击键频率作为计算基准，求其标准方差。

情绪库中鼠标三元模型为。

　　以键盘操作为例，如果监测到键盘击键频率方差和力度方差超过设定的最大值MaxKeyThreshold，则判断学生当前情绪状态为愤怒；如果力度方差小于阈值MinKeyThreshold，则可识别为沮丧状态；如果在某两个阈值之间，则识别为愉悦状态。

再比如，如果监测到鼠标左键的击键频率超过阈值MouseThreshold可认为被急促短击，并且一定时间内光标快速移位或滚轮快速滚动大于阈值RollerThreshold，则可识别为焦躁状态。

　　2.阈值自适应更新

　　不同人虽然使用计算机的习惯差异很大，但击键频率、击键力度等击键行为特征值在统计学上还是符合正态分布的。

[12]所以，对于所有标准阈值的初始设置和自适应更新都是基于训练样本模型对应特征向量的平均值。

使用的学生人数越多，训练样本越大，标准阈值收敛速度越慢，其值就越趋向合理。

　　而学生模型中的MaxKeyThreshold、MinKeyThreshold、MouseThreshold和RollerThreshold等相关阈值和对应标准阈值的偏移差可由该学生模型情绪库中击键特征向量和标准库中击键特征向量的偏移值加权计算来进行自适应动态更新。

　　3.情绪特征的定量

　　实践证明，在实际系统开发中，三维空间模型的性价比过低，所以情绪特征值的定量算法采用二维情绪空间模型来对情绪强度进行计算，它由愉悦、沮丧、焦躁和冷静四种基本情绪组成。

[13]二维情绪空间EmotionalSpace={joy，frustration，anxiety，calm}，其中joy表示愉悦，frustration表示沮丧，anxiety表示焦躁，calm表示冷静。

情绪空间模型如图1所示，横轴X用来代表互相对立的焦躁和冷静两种情绪，纵轴Y代表相反的愉悦和沮丧两种情绪。

如此可以保证情绪特征值都被限制在以圆心为原点的单位圆之内。

　　图1二维情绪空间模型

　　情绪特征值的定量算法：

（1）计算单位时间内情绪特征数据的样本方差S的值：

　　[s2=1ni=1n（xi-x）2]。

（2）计算情绪特征值在二维空间的方位，即与X轴正向的角度：

　　[θs=arctan（ys/xs）]。

　　（3）计算情绪的强度，即离原点的长度r的值：

　　[rs=log（x2x+y2s）]。

　　由情绪特征值的方位可以确定情绪类型，强度r的值可以进一步精确判断出沮丧、焦躁等情绪的程度，为后续远程教学模块的自适应调节策略提供依据。

　　四、自适应调节策略

　　远程教学系统最能体现智能性的就是系统能够及时感知学生的当前情绪状态和能力水平，通过学习环境的自身调节来适应学生的性格和认知特点，最大限度地取得最佳教学效果。

远程智能教学系统中基于情绪的自适应调节策略主要包括负面情绪的调节和正面情绪的维持。

　　1.负面情绪的调节

　　在远程学习过程中，产生负面情绪的原因一般有[14]：

（1）学习疲劳。

长时间地持续进行学习，在生理和心理方面容易产生怠倦，注意力涣散、思维迟缓、记忆衰退，致使学习效率下降。

此时，如果继续学习可能会带来情绪上的波动，如厌倦、压抑、郁闷和易怒，个别学生甚至会心情极度烦躁而不能继续学习。

（2）学习困难。

这里讨论的学习困难是指不适当的教学内容和学习方法导致的暂时性认知障碍，非生理或精神上的疾病和缺陷。

不同的学生对教学内容的理解和认知可能存在显著差异，当遇到学习困难时，会产生迷惘、失望、焦虑和沮丧等负面情绪。

　　（3）需要缺乏。

跟学习困难相反的是，当前的教学课程对部分已经掌握了的学生而言可能显得过于简单和容易。

对学习内容缺乏需要时，也会使人兴趣丧失、消极和懈怠，产生失望和烦躁情绪。

　　（4）内容单调。

如果课程资源只有概念、原理和范例等单调乏味的纯文字性内容，无疑不可能激发学生的学习兴趣和欲望，这种沉闷、枯燥的学习内容肯定会导致郁闷、焦躁等严重的负面情绪。

　　（5）感觉孤独。

远程教学虽然有较强的人机交互性，但由于师生之间、学生之间存在地理环境上的阻隔，不能面对面进行学习上的探讨，再加上语言、表情和手势等交流手段的缺少，学生容易产生学习和情感上的孤独甚至自闭。

教育心理学研究表明，孤独感会引发沮丧、抑郁和烦躁等情绪，也是产生厌学情绪的重要因素之一，厌学情绪反过来又会使孤独感进一步强化。

[15]

　　有些负面情绪与产生来源是一一对应的关系，但另外一些如失望、烦躁等负面情绪产生的原因也许有多种可能，系统这个时候需要适时地自动弹出消息对话窗口跟学生进行微交互，作进一步精确判断，如图2所示。

　　针对上述导致负面情绪产生的几种原因，系统可以有针对性地通过对教学策略和教学资源的重新调节来达到改善或消除学生负面情绪的目的。

（1）学习时间的调节。

缺少人际面对面真实互动的远程学习比传统课堂更易产生疲劳状态。

因此，每一轮的学习时间长度最多不宜超过40分钟，届时系统就需要强制性暂停，提醒学生起身活动或闭目养神，以使大脑和神经活动得到放松和恢复。

休息时间根据情绪强度r的值作适当调整。

（2）学习气氛的调节。

对于r值较小的轻度抑郁和焦躁，学习期间系统可以播放一些柔和的背景音乐。

优美的音乐可以舒缓神经、平静内心，让人产生愉悦感，激发正能量。

需要强调的是，背景音乐应该是那种没有歌词的纯音乐，因为歌词可能会分散学生的注意力而影响学习效果。

对于r值较大的负面情绪如重度抑郁和烦躁，可以穿插播放一些搞笑视频短片来活跃学习气氛。

　　（3）教学资源的调节。

初始学习时的通用性教学策略所呈现的知识结构和资源内容不一定适合所有的学生。

因此，要实现差异化教学，就得根据监测到的学生情绪所表征的需要缺乏或学习困难对教学资源进行调节，即在教学资源库中重新检索能匹配其认知能力的教学资源进行个性化推荐，而高精度地测量教学资源的难度和学生的能力水平是资源调节的核心。

蓝思分级阅读测评体系正好从这两个方面进行计算，使用同一个度量标尺（Lexile，L），难度范围设置为0L-1700L，数字越小表示学习难度或认知能力越低。

[16]

　　对学生能力水平的测量可根据其对不同难度系数的教学资源的试题测试情况来综合分析和计算，分析的要素包括试题的理论难度、试题的实际难度、试题的质量、平均作答正确率、学生年级、参加测试学生总数和试题每个选项选择的具体人数，之后通过Raschmodel分析以上数据，最终得出反映学生学习能力水平的蓝思等级，并同步更新学生模型。

　　因为远程教学系统的测评体系采用相同的度量标准来计算资源难度和学生的能力水平，所以在调节教学资源时只要根据用户的学生模型从云端教学资源库中重新检索恰当的Lexile等级的教学资源即可。

比如，学生能力水平为750L，就可以检索推荐1000L左右的教学资源，此时学生对该资源内容的理解程度会是75%。

这个难度既不会让学生因无法驾驭而失去信心，也能对其现有的认知能力提出挑战，激发他们的学习兴趣。

　　（4）呈现方式的调节。

信息化教育资源的特点在于可以充分利用多媒体的表达优势，将文本、图像、视频、动画和声音等多种形式进行组合教学。

远程教学系统可以使用两种或两种以上不同媒体来呈现同一学习内容，如图文整合比图文分离的呈现方式更有利于学习兴趣的维持。

　　（5）互动交流的强化。

传统学习社区的留言、评论、发帖和回复等交流方式因其非即时性特点往往难以排遣远程学习者的孤独感。

所以，在教学系统中嵌入基于IM（InstantMessaging，IM）的智能导学机器人[17]，既可以强化学生与导学机器人或通过它和其他在线学习者进行实时性的互动讨论，又能避免学生之间使用腾讯QQ、微软Skype等第三方IM工具难以监管的境况。

由于知识库、机器学习和人工智能技术的引入，使导学机器人能够在学生实时交流的讨论内容偏离学习主题时及时介入和引导，避免讨论演变成与学习无关的闲聊。

　　[4]PICARDRW.Affectivecomputing[M].Combridge：

TheMITPress，1997.

　　[5]GOKCAYD，YILDIRMG.Affectivecomputingandinteraction：

psy-chologieal，cognitiveandneuroscientificperspectives[M].HersheyIGIGlobal，2010.

　　[6]张利伟，张航，张玉英.面部表情识别方法综述[J].自动化技术与应用，2009，28

（1）：

92-97.

　　[7]林菡，张侃.语音情绪识别的应用和基础研究[J].人类工效学，2009，15

（2）：

64-67.

　　[8]KAPURA，VIRJIN，TZANETAKISG，etal.Gesture-basedaffectivecomputingonmotioncapturedata[C].ProcoftheInternationalConferenceonAffectiveComputingandIntelligentInteraction.2005：

1-7.

　　[9]杨立公，朱俭，汤世平.文本情感分析综述[J].计算机应用，2013，33（6）：

1574-1578.

　　[10]陈继华，李岚，坤喜.基于多生理信号的情绪初步识别[J].生物医学工程研究，2006，25（3）：

141-146.

　　[11]教室里的电子眼在看什么[EB/OL].[2013-05-27].http：

//

　　[12]DunnA.BiometricAuthentication-RealIdentitiesforaVirtualWorld.MIDAS[R].ProjectDevelopmentFinalReport，2002.

　　[13]王征，谷安平，刘心松.基于在线客户情绪能量感知的商品推荐算法[J].吉林大学学报（信息科学版），2009，27（3）：

262-267.

　　[14]彭文辉.网络问题学习行为研究[J].中国电化教育，2014，325

（2）：

40-45.

　　[15]王冬梅.高职高专类学校学生厌学状况研究[J].齐齐哈尔师范高等专科学校学报，2009，109（3）：

137-138.

　　[16]罗德红，余婧.美国蓝思分级阅读框架：

差异化阅读教学和测评工具[J].现代中小学教育，2013，（10）：

90-93.

　　[17]黎孟雄.基于IM的智能导学机器人的研究与设计[J].现代教育技术，2013，23

（1）：

97-101.

　　[18]郝立兴，赵想飞，李雪梅等.基于前景理论的虚拟学习共同体中激励机制的设计研究[J].现代教育技术，2009，19（3）：

19-21.

　　收稿日期：

2015-06-05

　　定稿日期：

2015-08-31

　　作者简介：

黎孟雄，副教授，江苏师范大学海州教师教育学院（222006）。

　　郭鹏飞，教授，连云港师范高等专科学校数学与信息工程学院（222006）。

　　黎知秋，系统分析师，微软亚洲研究院（100080）。

　　责任编辑石子