群体网络行为模型研究与应用.docx

群体网络行为模型研究与应用.docx

《群体网络行为模型研究与应用.docx》由会员分享，可在线阅读，更多相关《群体网络行为模型研究与应用.docx（29页珍藏版）》请在冰豆网上搜索。

群体网络行为模型研究与应用

群体网络行为模型研究与应用

群体网络行为模型研究与应用群体网络行为模型研究与应用<<隐藏

窗体顶端

窗体底端

四川大学硕士学位论文群体网络行为模型研究与应用姓名:

隋喆申请学位级别:

硕士专业:

通信与信息系统指导教师:

方勇20060508四川大学硕士学位论文群体网络行为模型研究与应用群体网络行为模型研究与应用通信与信息系统专业研究生隋结指导教师方勇摘要随着因特网技术的迅猛发展,网络服务正在从传统服务向多元化方向发展.与此同时,商业网站一方面需要分析用户的行为及爱好以便提供让用户更满意的服务以满足其商业利益,同时,它也与提高网站服务的效率和个性化程度极为相关;另一方面,安全方面的问题成为制约因特网良性发展的关键因素;政府,科研机构等非赢利性的网站需要通过分析用户构成与其网络行为上的特点来支持政府的决策.为此.网络用户行为的分类以及在此基础上的分析研究越来越亟待提到日程上来.但是,研究用户网络行为,首先面临的是对网络用户及其行为进行系统的研究和分类.而关于网络行为,一直没有比较统一规范的界定和分类.此外,网络信息安全问题以及垃圾邮件问题,恶意病毒的破坏,反动,色情,暴力等不良内容在因特网上的传播已经成为日益突出有待解决的问题.网络行为同其他社会行为一样,需要一定的规范和原则.目前,互联网络已成为与社会密不可分的一体化组织结构,社会对于信息和信息网络的依赖性使得人类愈来愈方便的同时,社会的稳定性也受到空前的严重挑战,也使人们日益重视对于网络行为的研究和控制.为了对网络行为实行有效的管理和控制,也为了提高互联网络服务的质量和效率,系统化的网络用户行为的研究越来越迫切的需要提到日程上来.因此,研究群体网络行为分析技术,对于促进因特网服务的良性发展具有重要的理论和现实意义.本文主要做了一些关于群体网络行为分析的基础性和探索性工作,主要工作成果如下:

介绍了网络行为分析的相关技术,包括网络流量测量技术和数据挖掘技术;分析了网络行为分析系统的信息源,其中主要考虑了信息获取的高效性和四川大学硕十学位论文群体嘲络行为模型研究与戍用准确性两个方面;研究了网络行为分析系统的设计思想,基本作用,实现步骤和体系框架,以及设计和实现系统过程中所面临的关键技术;深入研究了数据挖掘技术与TCP/IP数据报协议分析与内容分析技术;在上述基础上提出了群体网络行为分析思想和分析模型;最后给出了模型的应用,并分析了该模型的优点和缺点.文中提出了群体网络行为分析模型,能够对群发性网络事件进行监测和预警.在应用方面,本文针对电子销售举了一个例子;然后把群体网络行为分析方法融入计算机的入侵检测,病毒检测和木马检测等方面,该思路也反映了安全领域的发展趋势.关键词:

网络用户行为特征群体网络行为分析数据挖掘行为分析模型ResearchandImpIicationofGroupNetworkBehaviorsModeIMajor:

Communication&InformationSystemPostgraduate:

SuiZheAdvisor:

FangyongABSTRACTWitharethequickdevelopmentoftheIntemet,itisfactthatthenetworkservicestodevelopingfromtraditionalservicesasthatofmultiplex.Ontoonehand,theprofitablewebsitessuchthebusinesswebsite,needoffermoresatisfactoryservicebyanalyzingusers'behaviorsandhobbiesinordertoobtainmaxiInLllllprofits.Andthesearecorrelatedextremelywithimprovingef五ciencyandindividualizeddegreeofwebsites￥grvice.Ontheotherhand,thequestionofthesecurityismoreandmoleoutstanding,andbecomesgrowth.Asneedtononprofitapivotalfactorofthecomputerandnetwork'sbenignaswebsitesuchgovernmentandscientificresearchinstitution,decision-makingtoo.Forthesenetworkusel's'behaviorsarereasons,toanalyzeuser8forscientificonclassificationanalysisandresearchdemandtobementionedurgently.BuLwhenwestudynetworkusers'behaviors,wemustclassifyandstudythemnotsystematically.Fornetworku8eI"5'behaviors,wehavefoundanuniformandjunkclassification.Furthermore,theinformationsecurityproblemofthehavenetworkmail,suchasthedestructionofthevirus,reactionary,pornography,violenceinformationspreadthroughIntemet,etc.Allofthesebecometheseriousproblemstoresolve.Assameasothersocialproblem,networkusers'behaviorsneedasomeobligatoryprincipleandcriteriontoo.Atpresent,Intemethadbecomepartofsociety.Dependingoninformationandinformationnetworkmake01,,11"fifemoreandmoreconvenient;atthesametime,stabilityofsocietyhavebeengreatlychallenged.Sopeopleincreasinglyattachimportancetotheresearchandcontrolofnetworkusers'behaviors.Toeffectivelyordertoresearchresearchandcontrolofnetworkusers'behaviors,andinqualityandimproveserviceonefficiencyageofIntomet,systematicalanalysisandnetworkusd's'behaviorsdemandtobementionedurgently.Tosolvetheproblemsabove,thestudyofnetworkBSer￥'behaviorstechnologyhassignificanteffectinpromotingIntemetapplication.ThisdisquisitionincludessonicbasicresearchworksforgroupnetworkUSeI"S'behaviors.Theworkreadsasfollows:

settinguptheconceptofnetworkusers'behaviorandintroducedinterrelatedtechnique,includingnetworktwofluxmeasureanddataminingtechnology;analyzingtheinformation80urgAgofnetworkbehavioranalytiealsystem,consideringmostlyrespectsofefficiencyandaccuracyofbehaviorinformation;subsequently,wewilldiscussthedesignidea,basicfianetion,actualizingstepandsystemt}ameofthebehavioranalysissystem;ThenwewilldiscusstheDataMiningtechnologyandTCP/II'datagramprotocolanalysisWewillbringforwardthemodelofgroupandcontentanalysistechnology;,Thennser￥'behaviors,WCpointwewillgivesonicnetworkOUttheadvantageanddisadvantageaboutthismodel.Thenapplicationsofthismodel.Thismodelhassomeusingtogroupnetworkevent.ForApplication,WCgiveanexampleaboutnetworksale;suchbehavioranalysismethodisusedintheintrusiondetectionandvirusdeteetioninthecomputerandnetwork.Thisapplicationisthetrendofthissafetyfield.gelotords:

NetworkUserBehaviorDataCharacterGroupNetworkUsers'BehaviorAnalysisMiningBehaviorAnalysisModel1.绪论本章将介绍论文的研究背景和意义,给出了所要研究的问题及主要研究方法和研究结论,并在最后给出了全文内容介绍.1.1研究背景和意义随着网络技术的发展和网络的普及应用,Internet已经成为人类社会信息交流的一项基础设施.2l世纪,以Internet为核心的信息交流技术将会对社会,政治,经济和文化等方面产生广泛而深远的影响.这突出表现为网络技术的进步能带来更高的效率,从而为个体的社会化发展提供更多的潜在空间.根据2005年12月第17次中国互联网络发展状况统计调查结果显示,2005年的中国互联网络在整体上保持增长态势的同时,网民特征结构,上网途径,上网行为等各方面也出现了一些较为明显的变化【l】.宏观方面,我国Internet继续保持持续,稳定的增长态势.其中网民数,上网计算机数分别达到了11000万人,4950万台,与上年同期相比分别增长了18.1%和19.o%;我国域名总数为2592410个,其中CN下注册的域名首次突破百万大关,达虱J1096924个,成为国内用户注册域名的首选.目前cN域名注册量在所有国家顶级域名中,稳居亚洲第一,世界排名也从2005年初的第13位上升到目前的第6位.我国网站总数达到了694200个;网络国际出口带宽总量达至JJl36106M;我国大陆的IPv4地址数达到了74391296个,位居世界第三II】.在网民的特征结构方面,男性,未婚,30岁以下,大学本科以下,月收入在2000元及以下（含无收入）网民的比例依然在网民各特征数据中占据主要地位;在职业方面,学生所占比例超过了总网民的三分之一,达到了35.1%,其次是企业单位工作人员,占总数的29.6%,排在第三位的是学校教师及行政人员,所占比例为7.3%,国家机关,党群组织工作人员所占比例为6.6%,事业单位工作人员所占比例为6.5%llj.在网民的上网途径方面,家里和工作场所仍然是网民上网的主要地点,所占比例分别为70.5%和37.6%:

网民上网设备仍然主要采用台式计算机,比例达97.2%,使用笔记本电脑上网的网民比例已经达至tJl8.2%:

宽带（xDSL,Cable等）上网网民数达6430万,在所有网民中比例已经达到57.9%【n,网民上网行为方面,网民一天中使用Internet时间的差异性较大,凌晨5点达到最低点,上网的网民比例为2.7%;一天中上网时间段出现三个峰值:

第一个峰值时间段为lO点,网民上网比例为31.2%,第二个峰值时间段为15点,网民上Modem网比例为38.9%,20一2l点达到一天中的最高峰,网民上网比例均超过60.o%【11.根据以上的调查结果我们不难看出,随着网络基础设施建设的加快和网络应用的日益广泛,网络用户不断增多.Internet已经成为人们实现信息交流和资源共享的重要媒介.在应用方面,随着人们对Internet认识的进一步加深,用户对Internet的应用也逐渐从传统的新闻浏览,信息查询,收发Email等方面向更深,更广的领域发展;电子商务,电子政务,网上银行,网络游戏,网络短信,远程教育等各种网络应用已经深入到人们工作,学习和生活中来.总之,网络服务正在从单一服务向多元化服务发展【21.因此,为了更准确的研究今后Internet的发展方向,更好的规划和管理网络;为了提商Internet的运作效率和服务质量,加强网络监管;同时,为了对大规模网络事件和群发性网络事件进行监控和预警;对网络用户行为进行系统化研究就显得越来越重要了.1.2国内外研究现状Interrier应用已成为人们日常生活的重要方式,国外已经就用户的网络行为展开了许多专门的研究.根据现有文献,早在1994年1月,美国就有机构对万维网（Ⅳww）用户及其使用行为进行初步的统计分析【3l,随着时间的推移,研究越来越深入,逐步采用问卷调查,用户观察,访谈,小组讨论,出声思考法,实验和系统日志分析等多种方法,探讨各类网络用户行为的表现,策略以及影响因素,并构建了专门的网络行为模式.对网络用户行为的研究有很大一部分是针对特定用户群体开展的,而且研究的用户群体以教育界的教师和学生为主.蒂洛森（Tillotson）等人对多伦多大学的学生及教工使用网络的情形进行了调查和分析,包括确定谁是因特网（Internet）的用户,他们在性别和学历上是否存在差异,上网地点,用因特网来查找些什么,对查找结果是否满意,对学校提供的上网设施是否满意,对改进系统的建议等【41.我国在这方面的研究起步比国外要晚.对网络用户行为的分析主要还是通过计算机网上自动搜寻,网上联机,电话抽样,相关单位上报数据等方式进行.如从1997年开始至2006年一月止,中国互联网络信息中心受国家主管部门委托,共发布了17次"中国互联网络发展状况统计报告",对网络用户行为进行了分类和总结IlJ.另外,国内在入侵检测技术的发展过程中,对网络用户行为进行了一些研究,但他们的出发点是发现网络攻击的异常行为,对网络用户的正常行为特征并没有进行过多的关注和分析.在网络测量的研究中,所研究的网络行为主要集中在对用户上网时段的研究.还有一些网络用户行为研究主要针对网络的某一种应用（如w哪）的访问行为进行研究,目的比较单一.根据目前查阅到的文献,2尚无一种比较通用的网络行为分类及定义方法.目前,针对网络行为的研究多是针对网络监控方面.在报文分析和网络行为监控方面,国外的SnifferPro和国内的网路岗相对来说是比较出色的.但是,SnifferPro只具有网络报文分析和统计功能,没有对网络行为进行分析,一股只能用于网络故障诊断和网络性能测试的相关领域.网路岗能够对常见的应用层行为进行分析,但支持的应用层协议很少（目前只有HTTP,POP,SMTP,QQ,ICQ,FTP,Telnet,SMB等八种）,也没有报文分析功能,无法对从底层分析网络行为提供支持.此外,网路岗的行为分析功能和系统紧耦合,可扩展性不高.除了网路岗之外,其它的网络监控产品都没有从行为的角度进行分析.加州大学伯克利分校的E2NEXT（NetworkandofExcellenceinEmergingNetworkingExperimentsTechnologies,简称ENEXT）研究小组在网络报文分析方面是世界领先的,但目前也没有涉及网络行为的分折【5】.1.3研究内容介绍1.3.1几个基本定义和约定网络用户（网民）:

本文的网络用户（网民）采用中国互联网中心（CNNIC）的定义.CNNIC对网络用户（网民）的定义为平均每周使用Internet至少一小时的中国公民川.网络行为:

网络行为又称为电子行为,虚拟行为,上网行为,网络行为从心理学的角度界定为在Internet创造的网络空间（Cyberspace,又称虚拟空间,塞伯空间）中,个体为了满足某种需要或获得某种体验以文本为中介而表现出交互式或非交互式行为.所谓的交互式行为是指个体使用能够促进社会交往行为的网络功能,如聊天室,在线游戏等,通过这些活动增加使用者之间的社会交往.非交互式行为是指使用者主要将网络做为一种完成任务或者搜集信息的工具,如网上信息查询,资料的收集,浏览网页,这些活动并不增加使用者之间的社会交往[61.群体网络行为:

根据特定目的和研究对象,可以将多个用户划分为不同的群体,而这些群体在网络活动中所产生的网络行为,称为群体网络行为【61.网络行为分析:

就是运用多学科知识研究和分析网络用户的构成,特点及其在网络应用过程中行为活动上所表现出来的规律.网络行为分析是一个广义的概念,它属于网络信息知识发现的范畴.从逻辑上说,网络行为分析是信息时代社会科学研究的制高点.因为哲学,经济学,社会学,心理学,计算机科学等众多学科聚焦于此.网络行为所赖以存在的网络虚拟空间已经成为一种全方位的新质3社会形态嘲.1.3.2研究内容说明近年来,随着大规模的工业生产过程的自动化,商务贸易电子化及企业和政府事务电子化的迅速普及以及科学计算的日益增长,产生了大规模的数据源.计算机网络技术的长足进步也为数据的传输和远程交互提供了技术手段,特别是Internet的迅速发展更是将全球的信息源纳入了一个共同的数据环境中.日益成熟的数据库系统和数据库管理系统都为这些海量数据的存储和管理提供了技术基础,这些庞大的数据库及其中的海量数据是极其丰富的信息源.网络信息的知识发现是从网络信息中提取人们感兴趣的知识,这些知识可能是隐含的,潜在的,事先未知的有用的信息.由于Internet上的数据是巨量的,无序的,非结构的,并且存在大量的冗余与噪声.因此,如何在这些隐含了许多有潜在价值的知识信息源中,发现这些有用的知识是人工智能,数据库等领域的研究焦点.但是仅仅依靠传统的数据检索机制和统计分析方法已经远远不能满足需要了.由此就出现了数据挖掘技术.数据挖掘是从大量的,不完全的,有噪声的,模糊的,随机的数据中提取潜在的,不为人知的有用信息,模式和趋势.数据挖掘的目的是在过去的经验基础上预言未来趋势等.这些知识和规则是隐含的,先前未知的,对决策有潜在价值的有用信息.通过数据挖掘,有价值的知识,规则或高层次的信息就能从数据库的相关数据集合中抽取出来,为决策提供依据,从而使数据库作为一个丰富可靠的资源,为知识归纳服务.没有大量准确的数据是无法进行网络行为分析的,因此数据挖掘技术也成为网络行为分析的基础.总的说来,网络用户行为的研究与社会学,心理学,社会心理学,人类学等一切与网络行为有关的学科密切相关,它的目的是研究网络用户行为的规律性,借以控制并预测网络用户行为,并为实现政治的,经济的,文化的目标提供服务.但是,研究用户网络行为,首先面临的是对网络用户及其行为进行系统的研究和分类.而关于网络用户行为,一直没有比较统一规范的界定和分类.网络用户行为可以从多个角度进行分类.在《中国互联网发展状况统计报告》中,把网络用户行为分为基础网络行为和扩展网络行为,进而再细分成五大类,即信息获取类,沟通交流类,休闲娱乐类,电子服务类,电子商务类.拉强是从应用层面上的宏观分类.实际上,根据所研究问题的不同,网络用户行为的分类方式也各不相同.在Internet不断发展的同时,存在的问题也日益突出.一是信息的爆炸性增长,使得网络的发展日新月异.二是网络信息安全的问题,恶意病毒的破坏,4反动,色情,暴力等不良内容在Internet上的传播已经成为日益突出有待解决的问题.三是垃圾邮件问题,第17次CNNIC调查结果显示,2005年香港网民平均每周收到垃圾邮件57.5封,而且其中不乏反动,色情的邮件在内【Il.在网络蓬勃发展的同时,互联网模式的电子商务,电子政务的广泛应用,网络行为分析受到越来越广泛的关注.家长希望对孩子使用网络的行为进行管理,避免他们通过网络接触有害和不健康的信息:

企业的管理者希望能够对员工使用网络的行为进行有效的控制,避免员工在工作时间内进行娱乐等;国家有关部门希望能够对在网络上传输的信息进行有效监控,避免反动的,对国家安全和稳定不利的信息通过网络广泛传播.因此,研究网民的网络行为,并根据研究结果制订出相应的对策已经成为网络安全研究的热点之一.1.4论文结构本文主要做了一些关于群体网络用户行为分析的基础性和探索性工作,主要工作成果如下:

介绍了网络行为分析的相关技术,包括网络流量测量技术和数据挖掘技术;分析了网络行为分析系统的信息源,其中主要考虑了信息获取的高效性和准确性两个方面;讨论了行为分析系统的设计思想,基本作用,实现步骤和体系框架,以及设计和实现系统过程中所面临的关键技术;深入讨论了数据挖掘技术与TCP/IP数据报协议分析与内容分析的技术;在上述基础上提出了网络用户群体网络行为分析模型和分析思想,把该模型与其他类似的模型进行了比较,最后给出了模型的应用,并指出了该模型的优点和缺点.文中提出了群体网络行为分析模型,能够对群发性网络事件进行监测和预警.在应用方面,本文针对网络销售举了一个例子;并把行为分析方法融入计算机的入侵检测,病毒检测和木马检测等方面,该思路也反映了安全领域的发展趋势.本论文共分七章,其余各章节具体安排如下:

第二章主要研究了网络行为的相关技术.分别对网络行为的分类,网络流量测量方法及分类,数据挖掘技术进行了研究.这些技术是网络行为分析的基础.第三章首先讨论了网络行为分析系统的设计思想,接着讨论了网络行为分析系统实现的几个基本步骤,构建了网络行为分析系统的模型;讨论了模型中各个模块的作用;最后对网络行为分析系统设计和实现上采用的CORBA技术进行了阐述.第四章分为两大部分,第一部分讨论用户网络行为分析数据的收集与预处理;主要针对Web日志处理过程中涉及到的关键问题和技术一步步进行详细的削析和论