基于情感图像检索系统的设计与实现.docx

基于情感图像检索系统的设计与实现.docx

《基于情感图像检索系统的设计与实现.docx》由会员分享，可在线阅读，更多相关《基于情感图像检索系统的设计与实现.docx（47页珍藏版）》请在冰豆网上搜索。

基于情感图像检索系统的设计与实现

西安邮电大学

毕业设计（论文）

题目：

基于情感图像检索系统的设计与实现

院（系）：

计算机学院

专业：

计算机科学与技术

班级：

计科1004班

学生姓名：

任宁宁

导师姓名：

刘伟职称：

副教授

起止时间：

2013年09月25日至2014年06月02日

毕业设计（论文）诚信声明书

本人声明：

本人所提交的毕业论文《基于情感图像检索系统的设计与实现》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。

本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。

论文作者签名：

（签字）时间：

年月日

指导教师签名：

（签字）时间：

年月日

西安邮电大学

毕业设计（论文）任务书

学生姓名：

任宁宁指导教师：

刘伟职称：

副教授

学院：

计算机学院专业：

计算机科学与技术

题目：

基于情感图像检索系统的设计与实现

一、任务与要求

图像中含有情感信息，不同的图像会唤起人类不同的情感。

将图像情感语义特征应用到图像检索中，使图像检索的结果更加符合人类对图像的自然描述、理解和需求，是一个有着学术和应用价值的问题。

本题目是基于内容的图像检索（CBIR）应用系统的设计，目标是用Matlab（或其他开发平台，如C#、Java）开发出能够满足用户提出的情感色彩检索要求的检索算法以及对应的图像检索实验平台。

通过本设计可以较为熟练的掌握图像处理程序设计方法，并对图像处理和图像检索技术有一定的了解。

具体的任务包括：

（1）根据所给的情感数据库以及自行从因特网上下载的图像构造一个实验数据库，数据库中包含经过若干被试主观评估、打分整理后的情感语义图像（数据库中包含“静感”和“动感”两类语义图像）。

（2）采用“线条方向直方图”作为特征描述情感语义（“静感”和“动感”两类语义）。

（3）采用K-NN和BP神经网络用于图像语义分类。

（4）设计出情感图像检索原型系统。

要求开发出的程序满足正确性和执行效率的要求，并在上述

（1）中构建的图像数据库上完成计算机算法验证实验。

要求同学完成毕业设计后应提交相应的毕业设计文档（如毕业设计论文等）以及可在Windows平台下运行的情感图像检索原型系统程序。

二、参考资料

[1]RafaelC.Gonzalez等著，阮秋琦等译.DigitalImageProcessing（中文版名：

数字图像处理）[M].北京：

电子工业出版社，2003.

[2]KherfiML，ZiouD，BernardiA.ImageRetrievalFromtheWorldWideWeb：

Issues，Techniques，andSystems[J].ACMComputingSurveys，2004，36

（1）：

35-67.

[3]章毓晋.基于内容的视觉信息检索[M].北京：

科学出版社，2003.

[4]庄越挺等著.网上多媒体信息分析与检索[M].北京：

清华大学出版社，2002.[5]刘伟.图像检索中若干问题的研究[D].杭州：

浙江大学，2007.

[6]王上飞，王煦法.图像情感检索研究的进展与展望[J].电路与系统学报，2005，10（4）：

102-110.

[7]王伟凝，余英林.图像的情感语义研究进展[J].电路与系统学报，2003，8（5）：

101-109.

[8]王伟凝，余英林，张剑超.基于线条方向直方图的图像情感语义分类[J].计算机工程，2005，31（11）：

7-9.

三、主要仪器及材料

所需硬件设备为安装有WindowsXP及以上操作系统的台式计算机一台。

该计算机安装有Matlab2008或以上版本软件（或其他开发平台软件）、MicrosoftWord字处理软件（或具有相似功能的其他软件）、ACDSee图像浏览软件（或具有相似功能的其他软件）。

4、工作计划（时间进度）

1）2013年10月9日-12日：

开始选题，制订计划。

2）2013年10月12日：

启动科研训练，明确要求。

3）2013年10月1日-27日：

课题调研，文献查阅，完成开题报告。

4）2013年10月30日前各专业负责人审查本专业指导教师的任务书。

5）2013年11月1日-8日：

完成《开题报告》的撰写工作、准备开题报告答辩工作

6）2013年11月7日：

开题报告答辩。

7）11月15日前（第十二周）学生将《开题报告》（定稿）上传至毕设管理系统中。

8）2013年11月2日-下学期开学前两周：

准备资料，迎接中期检查。

9）2014年3月13日：

中期检查。

10）2014年3月13日-2014年5月28日：

毕业论文的设计与实现。

11）2014年5月30日：

毕业论文查重。

12）2014年6月4日：

终期验收。

13）2014年6月11日：

毕业设计答辩。

西安邮电大学

毕业设计（论文）开题报告

计算机学院院（系）计算机科学与技术专业10级04班

课题名称：

基于情感图像检索系统的设计与实现

学生姓名：

任宁宁学号：

04101118

指导教师：

刘伟

报告日期：

2013年11月02日

1.本课题所涉及的问题及应用现状综述

随着计算机技术和网络技术特别是因特网技术的发展，以及近年来消费型电子产品（如数码相机、带拍照功能的手机、电子摄像机等）的普及，使得数字图像等多媒体数据的规模急剧膨胀，每天都有巨量的数字图像产生、发布和共享。

如何从浩如烟海的图像信息中及时、高效地寻找所需要的图像成为一个需要迫切解决的问题。

基于内容的图像检索问题正是在这样一个背景下提出。

目前的商用Web图像搜索引擎，如Google和XX都是采用和文本搜索类似的技术路线，即采用Web网页中与图像关联的文字信息（即图像标签文字）来完成搜索任务。

这样的方法带来的问题是：

（1）搜索精度有限。

因为和用户输入的关键字匹配的网页图像标签文字并不一定能很好地描述图像本身的“内容”；

（2）无法实现“以图搜图”功能。

即根据图像而不是文字来搜索图片。

“以图搜图”功能具有重要的应用价值。

基于内容的图像检索（content-basedimageretrieval，CBIR）是有望解决上述问题的关键技术。

图像检索是属于图像分析的一个研究领域。

其目的是在给定查询参数（如查询图像）的前提下，依据内容信息或指定查询标准，在图像数据库中搜索并查找出符合查询条件的相应图像。

心理学研究表明，图像中含有情感信息，不同的图像会唤起人类不同的情感。

如何有效地模拟人观察图像后所引起的情感感觉，并使用带有感情色彩的语义表述图像，是一个具有很大挑战性的前沿课题。

“动感”和“静感”是一对人类常有的情感，本设计使用图像的低层特征来对艺术图像进行“动感”和“静感”的分类，并在此基础上实现情感图像检索，这是一个有益的探索工作。

而当今的绝大多数基于内容的图像检索系统主要是对图像的多维物理特征进行相似性匹配查询，对于用户的爱好、情感等主观或感性化的因素考虑较少。

因此我们引入了情感计算这个概念，情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐的人机环境。

另一方面，视觉信息是人类从客观世界获得信息的主要来源，人向外界获取的信息中，视觉成分约占总数的80%，图像则是视觉感知的结果和表现形式。

随着多媒体技术的迅速发展，数字图象处理中的一个重要研究方向是使计算机能够模仿人的感觉和需求来处理和理解图像。

因此情感图像检索将从用户的情感需求出发，探索高层次的用户情感和低层次的图像特征之间的联系，建立交互式动态的情感图像检索模型。

目前情感图像检索主要涉及以下四个方面的研究内容：

1）定义图像的感性特征（图像元数据），即抽取图像中较容易引起用户情感变化的特征；2）定义用户情感信息的描述方式（印象语元数据），即用户用来表达心理的形容词（也称为印象语，ImpressionWords）在计算机中的处理和表达方式；3）计算图像感性特征与用户情感需求之间的语义相关性，即建立用户高层次的情感信息和图像低层次的感性特征之间的联系，也即建立情感用户模型（AffectiveUserModel）；4）通过学习机制，根据用户的不同，自适应调整情感用户模型，提高检索的准确性，即个性化情感用户模型。

在图像检索系统的早期应用有日本的“ArtMuseum”和“IQI系统”，能够使用印象词（impressionwords）如（自然的、优雅的、华丽的等）检索图画；最近的Bianchi-Berthouz的K-agent图像检索系统，比一般的系统更注重用户的情感需求；还有Chile大学正在研制的TEXRET系统，希望使用类似人类感觉的定性描述来检索纹理图像[21]；意大利的Colombo等还在图像情感研究的基础上，还进行了视频图像的语义检索研究，用于广告、电视等视频检索[5]。

除此之外，图像的情感研究在设计系统中也得到了应用，日本色彩与设计研究所推出的ImageAnalystLE系统，能根据用户的性别、年龄、职业及用户性格的调查，运用已有的颜色研究成果，找到的适合用户的风格（如自然的netural、优雅的elegant、别致的chic）和色彩搭配（米黄、草绿、浅褐色、浅灰等），最后给出用户所需的服装、居住环境、消费用品的颜色设计方案；南京航空航天大学苑寅秋根据配色方案评判模型以及色彩情感效应的量化研究，将针对机电产品色彩构成，本着“回归人本”的现代设计主题，将专家系统技术引入到几点产品色彩设计领域，研制了面向机电产品的色彩设计专家系统（MCSES），实现了推荐配色方案及方案预览功能。

北京航空航天大学的陈斌证明了图象的分形维数与情感特性具有一定关系，并根据这种关系，提出了用计算机自动产生和谐分布图案的算法。

2.本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析

（1）情感图像检索的背景、目的和意义；

（2）情感图像数据库的构建；

实验收集中了包括油画、水粉画、中国画等在内的彩色艺术图像200幅，请5位年龄在20~25岁的男女大学生参与，每人都对图像的动感作出评估，将图像分别用0，1，2表示，其中0表示“静感”图像，2表示“动感”图像，而1表示中间类，表示图像介于静感和动感之间，我们在试验中将1类从图像库中去除。

最后得到若干幅图像，其中“静感”类图片若干张，“动感”类图片若干张。

这些实现起来工作量比较大，需要细心认真，总体来时比较容易构建。

（3）“线条方向直方图”算法的设计与实现；

动感和静感是一对人类常有的情感，根据线条与图像动感感觉之间的联系，使用图像的低层特征来对艺术图像进行“动感”和“静感”的分类，采用了改进的边缘方向直方图作为特征，并使用概率神经网络（PNN）进行分类，达较高的准确率，是对图像情感语义分类研究的有益探索。

Jain等人提出的边缘方向直方图方法，使用canny算子（σ＝1，高斯滤波器宽度＝4）对图像进行边缘检测，得到的边缘图像中每个边缘像素都具有一个梯度模值M（x,y）和一个方向梯度相角值θ（x,y）：

（1）

其中，θ∈（-90°,90°），而边缘像素点的方向梯度相角与该点的边缘线条方向垂直，

所以线条方向为：

α（x,y）=θ（x,y）+90°，α∈（0°,180°）。

在计算直方图矢量之间的距离时，我们使用了欧式距离度量，如式

（2）所示：

（2）

图像人工分类结果表明，具有较多垂直线条的图像与具有较多水平线条的图像一样都给人以宁静的感觉，进行分类的依据是不同图像的直方图向量之间的距离，根据分类的原则，同类向量之间的距离应该较小，异类向量之间的距离应该较大，即类内距离要小，类间距离要大。

对于不符合分类的要求，有必要对直方图进行修正。

（4）K-NN、BP神经网络分类器的设计与实现；

神经网络（NN，neuralnetwork）是在现代神经科学研究成果的基础上提出来的，是对人脑动能的若干特性的简化、抽象和模拟的数学模型。

神经网络由许多具有非线性映射能力的神经元组成，神经元之间通过权系数相连接，其信息分布式存储于联接权系数中，使网络具有很高的容错性和鲁棒性，这一特点使得其具有能够解决模式识别问题的潜力，人工神经网络所提供的学习能力，大大放松了传统识别方法所需的约束

条件，使其对某些识别问题显示出极大的优越性。

余英林等就采用BP神经网络方法对图像的的纹理的特征进行分类取得了良好的效果，还对基于模糊感知器的模糊神经分类器进行过详细的讨论。

做为一种建立非线性映射的一个强有力的工具，神经网络方法在图像情感研究中得到了广泛的应用。

Jinsub建立了基于多层反馈神经网络的彩色图案的情感评估系统，显示出比前人的线性系统评估结果更高的准确率。

Hayashi使用了反向传播规则的神经网络来建立图像特征与印象词间的联系，达到了78.8%的准确率。

搞懂K-NN算法设计，仔细思考算法细节问题，以及各种实际中遇到的问题。

完成本课题的工作方案

3.本学期应该完成如下任务：

（1）学习图像处理、图像检索、模式识别中和本毕业设计相关的知识；

（2）熟练掌握Matlab语言程序设计方法；

（3）构建好测试用的“情感语义图像数据库”；

（4）完成“线条方向直方图”算法；

（5）完成《开题报告》；

（6）完成外文翻译。

具体进度安排：

（1）2013年9月25日-27日：

开始选题，制订计划。

（2）2013年9月30日：

启动科研训练，明确要求。

（3）2013年10月1日-27日：

课题调研，文献查阅，完成开题报告。

（4）2013年10月28日-11月12日：

开题报告答辩。

（5）2013年11月2日-下学期开学前两周：

准备资料，迎接中期检查。

（6）下学期开学-2014年6月2日：

完成毕设并参加毕业设计答辩。

参考文献：

[1]陈斌.基于分形与小波的图像和谐情感特性研究[D].北京航空航天大学硕士学位论文,2002.

[2]RafaelC.Gonzalez等著，阮秋琦等译.DigitalImageProcessing（中文版名：

数字图像处理）[M].北京：

电子工业出版社，2003.

[3]KherfiML，ZiouD，BernardiA.ImageRetrievalFromtheWorldWideWeb：

Issues，Techniques，andSystems[J].ACMComputingSurveys，2004，36

（1）：

35-67.

[4]章毓晋.基于内容的视觉信息检索[M].北京：

科学出版社，2003.

[5]庄越挺等著.网上多媒体信息分析与检索[M].北京：

清华大学出版社，2002.[6]刘伟.图像检索中若干问题的研究[D].杭州：

浙江大学，2007.

[7]王上飞，王煦法.图像情感检索研究的进展与展望[J].电路与系统学报，2005，10（4）：

102-110.

[8]王伟凝，余英林.图像的情感语义研究进展[J].电路与系统学报，2003，8（5）：

101-109.[9]王伟凝，余英林，张剑超.基于线条方向直方图的图像情感语义分类[J].计算机工程，2005，31（11）：

7-9.

4．指导教师审阅意见

指导教师（签字）：

　　　　　　年月日

说明：

本报告必须由承担毕业论文（设计）课题任务的学生在毕业论文（设计）正式开始的第1周周五之前独立撰写完成，并交指导教师审阅。

西安邮电大学毕业设计（论文）成绩评定表

学生姓名

任宁宁

性别

女

学号

04101118

专业班级

计科1004班

课题名称

基于情感图像检索系统的设计与实现

课题

类型

科研题目

难度

一般

毕业设计（论文）时间

2013年9月25日~2014月6日02日

指导教师

刘伟（职称：

副教授）

课题任务

完成情况

论文11（千字）；设计、计算说明书0（千字）；图纸0（张）；

其它（含附件）：

指导教师意见

分项得分：

开题调研论证分；课题质量（论文内容）分；创新分；

论文撰写（规范）分；学习态度分；外文翻译分

指导教师审阅成绩：

　　指导教师（签字）：

　　　　　年　　月　　日

评

阅

教

师

意见

分项得分：

选题分；开题调研论证分；课题质量（论文内容）分；创新分；

论文撰写（规范）分；外文翻译分

评阅成绩：

　　评阅教师（签字）：

　　　年　月　日

验收小组意见

分项得分：

准备情况分；毕业设计（论文）质量分；（操作）回答问题分

验收成绩：

　验收教师（组长）（签字）：

　　　　年　月　日

答

辩

小组

意

见

分项得分：

准备情况分；陈述情况分；回答问题分；仪表分

答辩成绩：

答辩小组组长（签字）：

　年月日

成绩计算方法

（填写本系实用比例）

指导教师成绩20（％）评阅成绩30（％）验收成绩30（％）答辩成绩20（％）

学生实得成绩（百分制）

指导教师成绩评阅成绩验收成绩

答辩成绩总评

答辩委员会意见

毕业论文（设计）总评成绩（等级）：

院答辩委员会主任（签字）：

院（签章）

年月日

备

注

西安邮电大学毕业论文（设计）成绩评定表（续表）

摘要

研究表明，许多图像中里都包含着一定的感情色彩，不同的图像会唤起人类不同的情感。

如何有效地模拟人观察图像后所引起的情感感觉，并使用带有感情色彩的语义表述图像，是一个具有很大挑战性的前沿课题。

情感图像检索的研究在医学、心理学、智能科学、社会学、计算机学、农业学等等领域都有巨大的应用价值。

本文研究图像的低层视觉特征与高层语义之间的关系，例如情感的“静态”“动态”与图像之间的关系。

首先，建立一个包含动静态的图像数据库。

在互联网上收集200幅包含“动感”和“静感”内容的艺术图像（如油画、水粉画、中国画。

包括东方和西方作品）。

然后请3位同学对图像的动感作出评估，进行打分，最后得到包含200幅“静感”类和“动感”类图像的数据库。

其次，利用线条方向直方图提取图像边缘特征信息，再这基础上可以改进算法，比较分类的正确性。

并且结合Weightedk-NN、k-NN、BP神经网络三种分类器对情感图像数据库进行分类，分类提高了图像检索的正确率。

使用分类器的原理是：

如果分类器分类正确，那么检索到的结果都是正确的，反之亦然。

通过本次实验证明，相对于k-NN、Weightedk-NN分类器，BP神经网络分类器的分类正确率是比较高的，分类率为0.578。

k-NN、Weightedk-NN分别是0.5774和0.5699。

通过改进训练样本可以改进提高分类率。

本文重点研究线条方向直方图、k-NN、Weightedk-NN、BP神经网络分类器的算法。

关键词：

视觉特征计算情感图像检索线条方向直方图分类器

Abstract

Researchshowsthatmanyimagesareincludedinacertainemotionalcolors,differentimageswillevokedifferenthumanemotions.Howtoeffectivelysimulatetheemotionalfeelingofpeoplecausedbytheobservedimageandtheimageusingsemanticrepresentationsemotionally,isleadingsubjectofagreatchallenge.Emotionalimageretrievalresearchinmedicine,psychology,smartscience,sociology,computerscience,etc.inthefieldofagriculturalsciencehasgreatvalue.

Low-levelvisualfeaturesandtherelationshipbetweenhigh-levelsemanticimagethisstudy,suchas"static","dynamicrelationship"betweentheimagesandemotions.First,createtheimagedatabasecontainingdynamicstatic.Collected200contains"dynamic"and"staticsense,"theartofimagecontentontheInternet（suchasoilpainting,watercolorpainting,Chinesepainting,includingEasternandWesternworks）.Thenaskstudentstomakethreedynamicimageassessment,scoring,andfinallygetthatcontains200"quietsenseof"classandthe"dynamic"classimagedatabase.Secondly,theuseoflinestoextractimageedgedirectionhistogramfeatureinformation,thenitcanbeimprovedalgorithmbasedoncomparingtheclassificationaccuracy.AndcombinedWeightedk-NN,k-NN,BPneuralnetworkclassifierthreekindsofemotionalimagedatabasecategorizeimprovetheimageretrievalaccuracy.Useclassificationprincipleis:

iftheclassificationaccuracy,thenretrievedtheresultsarecorrect,andviceversa.

Throughthisexperimentprovedthatwithrespecttothek-NN,Weightedk-NNclassifier,BPneuralnetworkclassifiercorrectrateisrelativelyhigh,theclassificationwas0.578.k-NN,Weightedk-NNwere0.5774and0.5