群体网络行为模型研究与应用.docx

1、群体网络行为模型研究与应用群体网络行为模型研究与应用 群体网络行为模型研究与应用 群体网络行为模型研究与应用隐藏 窗体顶端窗体底端四川大学 硕士学位论文 群体网络行为模型研究与应用 姓名:隋喆 申请学位级别:硕士 专业:通信与信息系统 指导教师:方勇 20060508 四川大学硕士学位论文 群体网络行为模型研究与应用 群体网络行为模型研究与应用 通信与信息系统专业 研究生隋结 指导教师方勇 摘要 随着因特网技术的迅猛发展,网络服务正在从传统服务向多元化方向发展. 与此同时,商业网站一方面需要分析用户的行为及爱好以便提供让用户更满意的 服务以满足其商业利益,同时,它也与提高网站服务的效率和个性化

2、程度极为相关;另一方面,安全方面的问题成为制约因特网良性发展的关键因素;政府,科 研机构等非赢利性的网站需要通过分析用户构成与其网络行为上的特点来支持 政府的决策.为此.网络用户行为的分类以及在此基础上的分析研究越来越亟待 提到日程上来. 但是,研究用户网络行为,首先面临的是对网络用户及其行为进行系统的研 究和分类.而关于网络行为,一直没有比较统一规范的界定和分类.此外,网络 信息安全问题以及垃圾邮件问题,恶意病毒的破坏,反动,色情,暴力等不良内 容在因特网上的传播已经成为日益突出有待解决的问题.网络行为同其他社会行 为一样,需要一定的规范和原则.目前,互联网络已成为与社会密不可分的一体 化组

3、织结构,社会对于信息和信息网络的依赖性使得人类愈来愈方便的同时,社 会的稳定性也受到空前的严重挑战,也使人们日益重视对于网络行为的研究和控 制.为了对网络行为实行有效的管理和控制,也为了提高互联网络服务的质量和 效率,系统化的网络用户行为的研究越来越迫切的需要提到日程上来.因此,研 究群体网络行为分析技术,对于促进因特网服务的良性发展具有重要的理论和现实意义. 本文主要做了一些关于群体网络行为分析的基础性和探索性工作,主要工作 成果如下:介绍了网络行为分析的相关技术,包括网络流量测量技术和数据挖掘 技术;分析了网络行为分析系统的信息源,其中主要考虑了信息获取的高效性和 四川大学硕十学位论文 群

4、体嘲络行为模型研究与戍用 准确性两个方面;研究了网络行为分析系统的设计思想,基本作用,实现步骤和 体系框架,以及设计和实现系统过程中所面临的关键技术;深入研究了数据挖掘 技术与TCP/IP数据报协议分析与内容分析技术;在上述基础上提出了群体网络 行为分析思想和分析模型;最后给出了模型的应用,并分析了该模型的优点和缺 点.文中提出了群体网络行为分析模型,能够对群发性网络事件进行监测和预警. 在应用方面,本文针对电子销售举了一个例子;然后把群体网络行为分析方法融 入计算机的入侵检测,病毒检测和木马检测等方面,该思路也反映了安全领域的发展趋势. 关键词:网络用户行为特征群体网络行为分析数据挖掘行为分

5、析模型 Research and ImpI ication of Group Network Behaviors ModeI Major:Communication&Information System Postgraduate:Sui Zhe Adv i sor:Fang yong ABSTRACT With are the quick development of the Intemet,it is fact that the network services to developing from traditional services as that of multiplex.On t

6、o one hand,the profitable websites such the business website,need offer more satisfactory service by analyzing usersbehaviors and hobbies in order to obtain maxiInLllll profits. And these are correlated extremely with improving ef五ciency and individualized degree ofwebsites￥grvice.On the other hand,

7、the question ofthe security is more and mole outstanding,and becomes growth.As need to nonprofit a pivotal factor ofthe computer and networks benign as website such government and scientific research institution, decision-making too.For these network uselsbehaviors are reasons, to analyze user8 for

8、scientific on classification analysis and research demand to be mentioned urgently. BuL when we study network usersbehaviors,we must classify and study them not systematically.For network u8eI5behaviors,we have found an uniform and junk classification.Furthermore,the information security problem oft

9、he have network mail,such as the destruction of the virus,reactionary,pornography,violence information spread through Intemet,etc.All of these become the serious problems to resolve.As same as other social problem,network usersbehaviors need a some obligatory principle and criterion too.At present,I

10、ntemet had become part of society.Depending on information and information network make 01,11fife more and more convenient;at the same time,stability of society have been greatly challenged. So people increasingly attach importance to the research and control ofnetwork users behaviors.To effectively

11、 order to research research and control of network usersbehaviors,and in quality and improve service on efficiency age of Intomet,systematical analysis and network usdsbehaviors demand to be mentioned urgently.To solve the problems above,the study ofnetwork BSer￥behaviors technology has significant

12、effect in promoting Intemet application. This disquisition includes sonic basic research works for group network USeIS behaviors.The work reads as follows:setting up the concept of network users behavior and introduced interrelated technique,including network two flux measure and data mining technol

13、ogy;analyzing the information 80urgAg of network behavior analytieal system,considering mostly respects of efficiency and accuracy of behavior information;subsequently,we will discuss the design idea,basic fianetion, actualizing step and system tame of the behavior analysis system;Then we will discu

14、ss the Data Mining technology and TCP/IIdatagram protocol analysis We will bring forward the model of group and content analysis technology;,Then nser￥behaviors,WC point we will give sonic network OUt the advantage and disadvantage about this model.Then applications of this model.This model has some

15、 using to group network event.For Application,WC give an example about network sale;such behavior analysis method is used in the intrusion detection and virus deteetion in the computer and network.This application is the trend ofthis safety field. gelotords:Network User Behavior Data Character Group

16、 Network UsersBehavior Analysis Mining BehaviorAnalysis Model 1.绪论 本章将介绍论文的研究背景和意义,给出了所要研究的问题及主要研究方法 和研究结论,并在最后给出了全文内容介绍. 1.1研究背景和意义随着网络技术的发展和网络的普及应用,Internet已经成为人类社会信息交 流的一项基础设施.2l世纪,以Internet为核心的信息交流技术将会对社会, 政治,经济和文化等方面产生广泛而深远的影响.这突出表现为网络技术的进步 能带来更高的效率,从而为个体的社会化发展提供更多的潜在空间. 根据2005年12月第17次中国互联网络发展状

17、况统计调查结果显示,2005年的 中国互联网络在整体上保持增长态势的同时,网民特征结构,上网途径,上网行 为等各方面也出现了一些较为明显的变化【l】. 宏观方面,我国Internet继续保持持续,稳定的增长态势.其中网民数,上 网计算机数分别达到了11000万人,4950万台,与上年同期相比分别增长了18.1% 和19.o%;我国域名总数为2592410个,其中CN下注册的域名首次突破百万大关, 达虱J1096924个,成为国内用户注册域名的首选.目前cN域名注册量在所有国家顶 级域名中,稳居亚洲第一,世界排名也从2005年初的第13位上升到目前的第6位. 我国网站总数达到了694200个;网

18、络国际出口带宽总量达至JJl36106M;我国大陆 的IPv4地址数达到了74391296个,位居世界第三II】. 在网民的特征结构方面,男性,未婚,30岁以下,大学本科以下,月收入在 2000元及以下(含无收入)网民的比例依然在网民各特征数据中占据主要地位; 在职业方面,学生所占比例超过了总网民的三分之一,达到了35.1%,其次是企 业单位工作人员,占总数的29.6%,排在第三位的是学校教师及行政人员,所占 比例为7.3%,国家机关,党群组织工作人员所占比例为6.6%,事业单位工作人员所占比例为6.5%llj. 在网民的上网途径方面,家里和工作场所仍然是网民上网的主要地点,所占 比例分别为7

19、0.5%和37.6%:网民上网设备仍然主要采用台式计算机,比例达 97.2%,使用笔记本电脑上网的网民比例已经达至tJl8.2%:宽带(xDSL,Cable 等)上网网民数达6430万,在所有网民中比例已经达到57.9%【n, 网民上网行为方面,网民一天中使用Internet时间的差异性较大,凌晨5点 达到最低点,上网的网民比例为2.7%;一天中上网时间段出现三个峰值:第一个 峰值时间段为lO点,网民上网比例为31.2%,第二个峰值时间段为15点,网民上 Modem 网比例为38.9%, 20一2l点达到一天中的最高峰,网民上网比例均超过60.o%【11. 根据以上的调查结果我们不难看出,随着

20、网络基础设施建设的加快和网络应 用的日益广泛,网络用户不断增多.Internet已经成为人们实现信息交流和资 源共享的重要媒介.在应用方面,随着人们对Internet认识的进一步加深,用 户对Internet的应用也逐渐从传统的新闻浏览,信息查询,收发Email等方面 向更深,更广的领域发展;电子商务,电子政务,网上银行,网络游戏,网络短 信,远程教育等各种网络应用已经深入到人们工作,学习和生活中来.总之,网 络服务正在从单一服务向多元化服务发展【21. 因此,为了更准确的研究今后Internet的发展方向,更好的规划和管理网 络;为了提商Internet的运作效率和服务质量,加强网络监管;同

21、时,为了对 大规模网络事件和群发性网络事件进行监控和预警;对网络用户行为进行系统化 研究就显得越来越重要了. 1.2国内外研究现状 Interrier应用已成为人们日常生活的重要方式,国外已经就用户的网络行为 展开了许多专门的研究.根据现有文献,早在1994年1月,美国就有机构对万 维网(ww)用户及其使用行为进行初步的统计分析【3l,随着时间的推移,研究越 来越深入,逐步采用问卷调查,用户观察,访谈,小组讨论,出声思考法,实验 和系统日志分析等多种方法,探讨各类网络用户行为的表现,策略以及影响因素, 并构建了专门的网络行为模式.对网络用户行为的研究有很大一部分是针对特定 用户群体开展的,而且

22、研究的用户群体以教育界的教师和学生为主.蒂洛森 (Tillotson)等人对多伦多大学的学生及教工使用网络的情形进行了调查和分 析,包括确定谁是因特网(Internet)的用户,他们在性别和学历上是否存在差 异,上网地点,用因特网来查找些什么,对查找结果是否满意,对学校提供的上网 设施是否满意,对改进系统的建议等【41. 我国在这方面的研究起步比国外要晚.对网络用户行为的分析主要还是通过 计算机网上自动搜寻,网上联机,电话抽样,相关单位上报数据等方式进行.如 从1997年开始至2006年一月止,中国互联网络信息中心受国家主管部门委托,共 发布了17次中国互联网络发展状况统计报告,对网络用户行为

23、进行了分类和总结Il J.另外,国内在入侵检测技术的发展过程中,对网络用户行为进行了一些 研究,但他们的出发点是发现网络攻击的异常行为,对网络用户的正常行为特征 并没有进行过多的关注和分析.在网络测量的研究中,所研究的网络行为主要集 中在对用户上网时段的研究.还有一些网络用户行为研究主要针对网络的某一种 应用(如w哪)的访问行为进行研究,目的比较单一.根据目前查阅到的文献, 2 尚无一种比较通用的网络行为分类及定义方法. 目前,针对网络行为的研究多是针对网络监控方面.在报文分析和网络行为 监控方面,国外的SnifferPro和国内的网路岗相对来说是比较出色的.但是, SnifferPro只具有

24、网络报文分析和统计功能,没有对网络行为进行分析,一股只 能用于网络故障诊断和网络性能测试的相关领域.网路岗能够对常见的应用层行 为进行分析,但支持的应用层协议很少(目前只有HTTP,POP,SMTP,QQ,ICQ, FTP,Telnet,SMB等八种),也没有报文分析功能,无法对从底层分析网络行 为提供支持.此外,网路岗的行为分析功能和系统紧耦合,可扩展性不高.除了 网路岗之外,其它的网络监控产品都没有从行为的角度进行分析.加州大学伯克利分校的E2NEXT(Network and of Excellence in Emerging Networking Experiments Technolo

25、gies,简称ENEXT)研究小组在网络报文分析方面是世界领先的, 但目前也没有涉及网络行为的分折【5】. 1.3研究内容介绍 1.3.1几个基本定义和约定 网络用户(网民):本文的网络用户(网民)采用中国互联网中心(CNNIC) 的定义.CNNIC对网络用户(网民)的定义为平均每周使用Internet至少一小时的中国公民川. 网络行为:网络行为又称为电子行为,虚拟行为,上网行为,网络行为从心理学的角度界定为在Internet创造的网络空间(Cyberspace,又称虚拟空间, 塞伯空间)中,个体为了满足某种需要或获得某种体验以文本为中介而表现出交 互式或非交互式行为.所谓的交互式行为是指个体

26、使用能够促进社会交往行为的 网络功能,如聊天室,在线游戏等,通过这些活动增加使用者之间的社会交往. 非交互式行为是指使用者主要将网络做为一种完成任务或者搜集信息的工具,如 网上信息查询,资料的收集,浏览网页,这些活动并不增加使用者之间的社会交往61. 群体网络行为:根据特定目的和研究对象,可以将多个用户划分为不同的群 体,而这些群体在网络活动中所产生的网络行为,称为群体网络行为【61. 网络行为分析:就是运用多学科知识研究和分析网络用户的构成,特点及其 在网络应用过程中行为活动上所表现出来的规律.网络行为分析是一个广义的概 念,它属于网络信息知识发现的范畴.从逻辑上说,网络行为分析是信息时代社

27、 会科学研究的制高点.因为哲学,经济学,社会学,心理学,计算机科学等众多 学科聚焦于此.网络行为所赖以存在的网络虚拟空间已经成为一种全方位的新质 3 社会形态嘲. 1.3.2研究内容说明 近年来,随着大规模的工业生产过程的自动化,商务贸易电子化及企业和政 府事务电子化的迅速普及以及科学计算的日益增长,产生了大规模的数据源.计 算机网络技术的长足进步也为数据的传输和远程交互提供了技术手段,特别是 Internet的迅速发展更是将全球的信息源纳入了一个共同的数据环境中.日益 成熟的数据库系统和数据库管理系统都为这些海量数据的存储和管理提供了技 术基础,这些庞大的数据库及其中的海量数据是极其丰富的信

28、息源. 网络信息的知识发现是从网络信息中提取人们感兴趣的知识,这些知识可能 是隐含的,潜在的,事先未知的有用的信息.由于Internet上的数据是巨量的, 无序的,非结构的,并且存在大量的冗余与噪声.因此,如何在这些隐含了许多 有潜在价值的知识信息源中,发现这些有用的知识是人工智能,数据库等领域的 研究焦点.但是仅仅依靠传统的数据检索机制和统计分析方法已经远远不能满足 需要了.由此就出现了数据挖掘技术. 数据挖掘是从大量的,不完全的,有噪声的,模糊的,随机的数据中提取潜 在的,不为人知的有用信息,模式和趋势.数据挖掘的目的是在过去的经验基础 上预言未来趋势等.这些知识和规则是隐含的,先前未知的

29、,对决策有潜在价值 的有用信息.通过数据挖掘,有价值的知识,规则或高层次的信息就能从数据库 的相关数据集合中抽取出来,为决策提供依据,从而使数据库作为一个丰富可靠 的资源,为知识归纳服务.没有大量准确的数据是无法进行网络行为分析的,因 此数据挖掘技术也成为网络行为分析的基础. 总的说来,网络用户行为的研究与社会学,心理学,社会心理学,人类学等 一切与网络行为有关的学科密切相关,它的目的是研究网络用户行为的规律性, 借以控制并预测网络用户行为,并为实现政治的,经济的,文化的目标提供服务. 但是,研究用户网络行为,首先面临的是对网络用户及其行为进行系统的研 究和分类.而关于网络用户行为,一直没有比

30、较统一规范的界定和分类.网络用 户行为可以从多个角度进行分类.在中国互联网发展状况统计报告中,把网 络用户行为分为基础网络行为和扩展网络行为,进而再细分成五大类,即信息获 取类,沟通交流类,休闲娱乐类,电子服务类,电子商务类.拉强是从应用层面上的宏观分类.实际上,根据所研究问题的不同,网络用户行为的分类方式也各不相同. 在Internet不断发展的同时,存在的问题也日益突出.一是信息的爆炸性 增长,使得网络的发展日新月异.二是网络信息安全的问题,恶意病毒的破坏, 4 反动,色情,暴力等不良内容在Internet上的传播已经成为日益突出有待解决 的问题.三是垃圾邮件问题,第17次CNNIC调查结

31、果显示,2005年香港网民平 均每周收到垃圾邮件57.5封,而且其中不乏反动,色情的邮件在内【Il.在网络 蓬勃发展的同时,互联网模式的电子商务,电子政务的广泛应用,网络行为分析 受到越来越广泛的关注.家长希望对孩子使用网络的行为进行管理,避免他们通 过网络接触有害和不健康的信息:企业的管理者希望能够对员工使用网络的行为 进行有效的控制,避免员工在工作时间内进行娱乐等;国家有关部门希望能够对 在网络上传输的信息进行有效监控,避免反动的,对国家安全和稳定不利的信息 通过网络广泛传播.因此,研究网民的网络行为,并根据研究结果制订出相应的 对策已经成为网络安全研究的热点之一. 1.4论文结构本文主要

32、做了一些关于群体网络用户行为分析的基础性和探索性工作,主要 工作成果如下:介绍了网络行为分析的相关技术,包括网络流量测量技术和数据 挖掘技术;分析了网络行为分析系统的信息源,其中主要考虑了信息获取的高效 性和准确性两个方面;讨论了行为分析系统的设计思想,基本作用,实现步骤和 体系框架,以及设计和实现系统过程中所面临的关键技术;深入讨论了数据挖掘 技术与TCP/IP数据报协议分析与内容分析的技术;在上述基础上提出了网络用 户群体网络行为分析模型和分析思想,把该模型与其他类似的模型进行了比较, 最后给出了模型的应用,并指出了该模型的优点和缺点.文中提出了群体网络行 为分析模型,能够对群发性网络事件

33、进行监测和预警.在应用方面,本文针对网 络销售举了一个例子;并把行为分析方法融入计算机的入侵检测,病毒检测和木 马检测等方面,该思路也反映了安全领域的发展趋势. 本论文共分七章,其余各章节具体安排如下: 第二章主要研究了网络行为的相关技术.分别对网络行为的分类,网络流量 测量方法及分类,数据挖掘技术进行了研究.这些技术是网络行为分析的基础. 第三章首先讨论了网络行为分析系统的设计思想,接着讨论了网络行为分析 系统实现的几个基本步骤,构建了网络行为分析系统的模型;讨论了模型中各个 模块的作用;最后对网络行为分析系统设计和实现上采用的CORBA技术进行了阐 述. 第四章分为两大部分,第一部分讨论用户网络行为分析数据的收集与预处 理;主要针对Web日志处理过程中涉及到的关键问题和技术一步步进行详细的削 析和论