复杂网络基础理论第七章复杂网络中的挖掘.ppt

复杂网络基础理论第七章复杂网络中的挖掘.ppt

《复杂网络基础理论第七章复杂网络中的挖掘.ppt》由会员分享，可在线阅读，更多相关《复杂网络基础理论第七章复杂网络中的挖掘.ppt（80页珍藏版）》请在冰豆网上搜索。

复杂网络,复杂网络中的挖掘,复杂网络中的挖掘,7.1引言7.2重要节点挖掘研究现状及评价指标7.3常见重要节点挖掘方法7.4社团结构挖掘研究现状及评价指标7.5常见社团挖掘方法,7.1引言,在复杂网络的研究中，通常只关注哪些节点有边相连，至于节点在什么位置、边是什么形状都不是关注的重点。

通常把不依赖于节点的具体位置和边的具体形态所表现出来的网络结构叫网络拓扑。

复杂网络本质上都是非同质拓扑结构，该种结构也决定了网络中每个节点的重要程度是不同的。

在复杂网络的挖掘研究中，对网络中节点的重要性进行评估，发掘网络中的重要节点具有重要的实用价值。

尤其是对各种各样具体的实际网络，更能针对性地分析网络性质制定正确的策略和措施。

7.1引言,1）在犯罪关系网络中，可以迅速定位犯罪团伙的头目，集中警力进行布控；2）在搜索引擎的应用方面，可以把搜索到的正确结果根据其匹配和重要程度排序后返回用户；3）在谣言传播网络中，可以发掘出谣言来源，避免出现“蝴蝶效应”；4）在大规模计算机网络总，可以根据服务器节点的重要程度进行有针对性的备份，从而在保证网络鲁棒性的同时，由能有效地节省资源。

5）在传染病或者病毒网络中，可以针对性地先治疗或者隔离病源，有效防止病毒的传播和扩散。

7.1引言,复杂网络通常会存在不同的社团，社团内部节点间的连接相对紧密，而社团间的节点只有少量连接。

图7.1是一个小型具有社团结构性质的网络，该网络中包含了三个社团。

在不同的实际网络中，社团结构的实际意义通常会有所不同，对社团结构的研究是了解整个网络结构和功能的重要途径，因此社团结构在实际网络中有着重要意义。

7.2重要节点挖掘研究现状及评价指标,不同领域的复杂网络研究侧重点有所差异，因而重要节点挖掘算法优劣的评估指标也不同。

7.2.1介绍重要节点挖掘研究现状；7.2.2分别介绍社会网络分析和系统科学分析中的算法优劣评价指标;7.2.3介绍合理评价指标应当满足的几个条件。

7.2.1重要节点挖掘研究现状,评价网络中节点重要性的方法有很多，但其本质均是源于图论以及基于图的数据挖掘，对应于图论中的最关键节点问题（mostvitalnodeproblem）和最关键边问题（mostvitaledgeproblem）。

复杂网络的节点重要性研究最早开始于社会网络分析领域，并且至今仍是学术界的研究重点。

随着复杂网络研究的不断深入，系统科学研究领域、信息搜索领域等众多领域均分别独立地提出了类似的问题。

7.2.1重要节点挖掘研究现状,社会网络分析认为节点的重要性等价于该节点与其他节点的连接而使其具有的显著性，其特点在于不破坏网络的连通性，且仅考虑单个节点的重要性而不考虑节点集的重要性。

系统科学的分析方法是通过度量节点删除对网络连通性的破坏程度来反映复杂网络中节点（集）的重要性，即“破坏性等价于重要性”。

在互联网搜索领域，计算机科学家也提出了很多算法来判断网页节点的重要程度。

多指标体系的综合评价方法也可以用于网络中节点重要度的评价，,7.2.2重要节点指标分析,1不破坏网络结构的指标该类指标以不破坏网络的整体性的前提下，通过“放大”节点的某些属性的显著性差异从而评估节点的重要性程度。

在已提出的指标中主要包含中心性和声望两大类。

中心性的概念最早来源于应用统计学的思想，仅用于估计样本点的集中程度。

这类指标将节点的某个属性定义为中心化指标，通过比较网络中所有节点的该种属性，找出对网络的拓扑结构起着较高作用的重要节点。

声望是另一类用于评估节点重要程度的评估指标。

该类指标认为网络中的每个节点都有一个声望值，当某个节点与较多的节点有联系或者与它连接的节点本身具有较小的声望，认为该节点是这个网络中比较“著名”的节点，则该节点是网络中的最重要节点。

7.2.2重要节点指标分析,2基于节点删除方法的指标该类指标利用网络的连通性来反映系统某种功能的完整性，通过度量节点对网络通性的破坏程度来反映网络节点的重要性。

一般来讲，系统中节点的删除除了对系统通性可能具有破坏，还会影响到系统的一些其他指标，所以通过计算这些指标的性能化也能度量节点的重要性。

最大连通分支尺寸：

RNRN平均最短路径长度：

网络效率：

网络生成树数目：

（G）det（AAT）,7.2.3合理评价指标所需条件,

（1）中心化指标应该是对称的，若对网络的节点重新编号，中心化指标应该不改变。

（2）无论将一个节点看成整个图的节点，还是将其看成一个连通分支的节点，所得到的中心化指标的值应该一致。

（3）孤立节点的中心化指标应该最小。

（4）在具有链式结构的网络中，节点的中心化指标应该从边缘向中心递增，即越靠近中心，节点的中心化程度应该越高。

（5）在所有的具有N个节点的连通网络中，链式结构网络的顶端节点的中心化指标应该最小，而星型结构网络的中心节点的中心化指标应该最大。

（6）移去某个节点的某条边，至少不会增加该节点的中心化指标。

7.3常见重要节点挖掘方法,常见的节点重要性评估方法有很多种，根据评估方法侧重点的不同，可以分为三类：

基于节点之间的直接连接状态、基于目标节点到其他节点的最优连接方式以及基于模拟流的分析。

7.3.1基于节点关联性的方法7.3.2基于最短路径的方法7.3.3基于模拟流的方法7.3.4其他分析方法,7.3.1基于节点关联性的方法,1节点度设网络具有N个节点，则节点vi的度指标定义为：

归一化的度指标定义为：

CD（vi）Cd（ki）（N1）2子图计算节点vi的子图中心性公式为：

n（vi）（An）ii,Cd（vi）ki,子图例子,根据节点所在回路的不同（不考虑五边形、六边形、七边形、八边形）可以将它们分为三类：

（1）节点v1、v2、v8存在于一个三角形回路中；

（2）节点v3、v5、v7分别存在于两个四边形回路中；（3）而节点v4、v6存在于三个四边形回路中。

实际计算结果是，节点v1、v2、v8具有最高的重要性，节点v3、v5、v7具有最低的重要性，原因是三角形的权重大。

7.3.2基于最短路径的方法,1介数节点vi的介数可以表示：

该指标可归一化定义为：

CB（vi）Cb（vi）（N1）（N2）22特征向量,7.3.2基于最短路径的方法,3近似特征向量指标则CA（vi）CD（vi）为最终的近似特征向量指标对于加权网络有：

4接近度归一化的接近度指标定义为：

Cc（vi）（N1）Cc（vi）,7.3.2基于最短路径的方法,【例7.1】图7.4是一个具有13个节点、18条边的测试网络，请分别用特征向量指标Ce、近似特征向量指标CA、接近度指标CC分析网络中各节点的重要性。

7.3.2基于最短路径的方法,解：

分别运用公式（7.13）、（7.14）和（7.17）可得：

7.3.2基于最短路径的方法,5节点删除法TLOS（vi）=DLOS（vi）+ILOS（vi）其中直接网络效率损失为：

间接网络效率损失为：

网络总损失为：

7.3.3基于模拟流的方法,1流介数2近似流介数,7.3.3基于模拟流的方法,【例7.2】图7.5是一个有13个节点、18条边的测试网络，请分别用流介数和近似流介数指标分析网络中各节点的重要性。

7.3.3基于模拟流的方法,解：

7.3.4其他分析方法,1累计提名2信息指标,7.3.4其他分析方法,【例7.3】分别用节点删除法、累计提名和信息指标分析40个艾滋病患者性关系网络（图7.8）中的每个节点的重要程度。

7.3.4其他分析方法,解：

（1）用节点删除法求得结果:

（2）用累计提名所得结果：

7.3.4其他分析方法,（3）第一种信息指标所得结果：

（3）第二种信息指标获得结果：

7.3.4其他分析方法,3节点收缩法IMC（vi）1GGvi4过载函数法节点vi的结构负载为:

B（vi）N（N1）jl（vi）jl过载函数为：

节点vi的负载容量为：

Ci

（1）Bi（0）节点vi的重要性为：

IiLiL0Li1L0Li,7.3.4其他分析方法,【例7.4】分别用节点收缩法和过载函数法分析图7.10中的每个节点的重要程度（假设该网络的初始负载和容量如表7.5所示），并进行简单分析。

7.3.4其他分析方法,解：

根据公式（7.42）和公式（7.46）可以得到表7.6所示的结果。

通过比较两种方法得到的结果可以看出，考虑级联失效对复杂网络节点重要性评估有着显著的影响。

在不考虑级联失效的条件下，节点v3、v5是重要的关键节点，节点v4的重要度并不突出；而考虑级联失效的条件下，节点v4的失效会触发其他节点的级联失效，使得整个网络的性能大幅度下降，从而这个节点重要度大幅提高。

而且我们从表7.5中可以看出该节点度和初始负载均较低，但节点v4失效后，首先导致节点v6失效，接着导致其他节点的级联失效。

这意味着节点v4是一个“潜在的关键节点”。

7.3.4其他分析方法,表7.5图7.10各节点的初始负载和容量表7.6图7.10的节点重要性计算结果,7.3.4其他分析方法,5权值降低法节点vi的点权为：

只考虑点权的情况：

表7.7图7.11各节点的点权,7.3.4其他分析方法,5权值降低法只考虑位置因素的情况：

7.3.4其他分析方法,只考虑位置因素的情况：

节点vi的位置重要度指标：

Li1lil表7.8图7.12中各节点的位置重要度指标节点vi的重要度计算公式为：

WG（Vi）sili表7.9图7.11中各节点的重要度指标,7.4社团结构挖掘研究现状及评价指标,7.4.1社团结构挖掘研究现状7.4.2社团结构的定义和模块性函数7.4.3经典检验网络7.4.4社团划分结果评价,7.4.1社团结构挖掘研究现状,现有的社团结构算法主要分为两类：

计算机科学中的图形分割算法和社会学中的分级聚类算法。

前者主要包括Kernighan-Lin算法、谱平分法、派系过滤算法等；而后者通常称为分级聚类方法。

分级聚类是寻找社会网络中社团结构的一类传统算法，它基于各个节点之间连接的相似性，把网络自然地划分为各个子群，根据加边或者去边，该类算法又可以分为两类：

分裂方法和凝聚算法。

从其他不同的角度分析社团结构的算法又包括：

基于相似度度量的凝聚算法、基于信息论的算法、基于PCA的算法、最大化模块性的算法等等。

7.4.1社团结构挖掘研究现状,按照网络中添加或者删除边的先后次序，分级聚类算法通常采用世袭图或树状图来记录算法的结果，从而描述整个网络从单个独立的社团逐步凝聚为整个网络的连续过程。

在图7.14中，底部的各个圆圈代表了网络中的各个节点，水平虚线从树的底端逐步上移，各个节点也逐步聚合成为更大的社团。

当虚线移至顶部时，整个网络就可以看作是一个社团。

在该树状图的任何一个位置用虚线断开，都对应着一种社团结构划分结果。

7.4.2社团结构的定义和模块性函数,1社团定义网络社团结构的定义有多种，最为常见的定义有两种：

一种是基于网络节点的相对连接频数，另一种是以网络连通性为评判标准。

根据节点的相对频数将网络中的节点划分为不同的社团时，网络呈现出社团内连接稠密而社团间连接稀疏的特点。

一般来讲，有强社团和弱社团两种定义：

强社团是指子图H中任何一个节点与H内部节点连接的度大于其与H外部节点连接的度；弱社团是指子图H中所有节点与H内部节点的度之和大于H中所有节点和H外部节点连接的度之和。

7.4.2社团结构的定义和模块性函数,此外还有一个比强社团更为严格的社团定义为LS集，它是指一个由节点构成的集合，其任何真子集与该集合内部的连边均大于该真子集和外部的连边。

以连通性为标准定义的社团也称为派系，一个派系是指由3个或者3个以上的节点组成的全连通子图，即任何两个节点之间均有连接。

在社团的各种定义中，派系的定义最为严格，但是也可以通过弱化连接条件进行拓展，形成n派系，这里的n是指子图中的任意两个节点之间不必直接相连，但最多通过n1个节点能够连通。

上述两种方法均可以用于定义社团，但是基于网络