社会网络数据缺失的影响M组.docx
《社会网络数据缺失的影响M组.docx》由会员分享，可在线阅读，更多相关《社会网络数据缺失的影响M组.docx（22页珍藏版）》请在冰豆网上搜索。
社会网络数据缺失的影响M组
社会网络中数据缺失的影响
GueorgiKossinets
摘要：
本文进行了估测数据缺失对社会网络结构特征的影响敏感度分析.社会网络被假定为由二分图产生，图中实验者通过多种交流情境或关系进行互相联结。
我们讨论三种主要的数据缺失机制:
网络边界规范（不包含试验者或关系），调查无应答以及顶点度删失（固定选择设计），介绍它们对来源于洛斯阿拉莫斯实验室数据库的科学合作网络和随机二分图的影响。
模拟的结果显示网络边界规范和固定选择设计能够大幅改变网络层面统计量的估计值.观察得到的聚集系数和匹配系数因关系的疏忽或固定选择其中而导致估计过高，而通过试验者无应答则是估计太低,从而造成扩大了测量误差。
我们也发现包括多种交流情境的社会网络因交叉团体的存在而显示一些有趣的特征.特别指出的是，与现有理论不同，度数匹配性不能提高网络鲁棒性从而随机遗漏网络代码。
关键词:
数据缺失；敏感度分析;图表理论;协作网络；二分图
1引导语
社会网络并不是完整的，意味着一些参与者或关系会从数据集中缺失。
在正常的社交场景中，大多数的不完整性是由以下原因出现的:
所谓的边界问题（Laumannetal。
，1983）,错误性应答（Bernardetal.，1984;BrewerandWebster,1999；Marsden,1990;Butts,2003）；网络调查中的无应答（StorkandRichards，1992;Rumsey,1993;Robinsetal。
，2004）；或者可能通过研究设计而造成（Burt,1987）.数据缺失机制混合出现也可能发生。
尽管实践研究中数据缺失比较常见，但只有少量文献研究联系或代码缺失可能对于整体网络中可衡量特征引起的影响。
尤其是，鉴于最近的研究进步使得一系列的网络模型开始注意跨学科研究，1970-1980s之间的原始工作内容似乎是非常恰当。
本文主要目标在于关注社会网络分析中数据缺失问题。
一种处理方法是抓住全球统计学的趋势而不依靠个人交流开发分析技术。
（RapoportandHorvath,1961）.另一补充性战略是研发数据缺失影响最小化的补救措施（HollandandLeinhard,1973;Robinsetal。
，2004）。
尽管本文并不提供最终的统计学方法，但是会进行此方面的实验性分析以及倡导进一步研究的重要性。
我们使用统计量模拟方法以量化由数据缺失引起的不确定性和评估图指标的敏感性，例如平均顶点度,聚集系数（Newmanetal.,2001），度相关系数（Newman,2002），最大连通成分的规模和平均道路长度。
本文的科学协作图来源于洛斯阿拉莫斯实验室数据库中1995—1999年“凝聚态物质"部分所包含的作者和论文（Newman,2001）。
选用此例来进行包含多种交流情境的社会网络一般情况下的统计量讨论。
由于数据集规模有限，数据统计量可能置信区间较小。
结果用于与随机二分图的情况进行比较。
文章的组织结构如下.第二部分主要是关注社会网络研究中缺失或错误数据的来源。
我们讲包含多种交流场景的社会网络中的边界规范问题形成一个二分图，在图中,试验者通过各种关系或者协作进行相互联结。
我们讨论社会网络研究中无响应和无交互问题以及由问卷调查设计所引起的度截止偏差。
第三部分主要描述用于调查数据缺失对网络特征影响的相关网络统计量，数据集和模拟算法.第四部分主要呈现结果，而第五部分总结研究发现。
2社会网络数据缺失的来源
2。
1边界规范问题
边界规范问题是指在网络研究中指定参与者或联系之间包含的规则（见图1）。
例如，组织内网络的研究者总是忽略导致与外部组织无数的关系，推断这些关系与组织的作业与运营不相关.一个经典的案例则是电线库室（BankWiringRoom）的研究，主要关注的是一家电子厂中总机生产区的14名工人.研究中所得的社会计量数据已被广泛分析，但是电线库室之外的交流对于工人行为和工作绩效的影响是未知的，很难被测量。
假使所处社区隔离于其它世界之外（例如Sampson的修道院），那么能够在一定程度上避免边界问题。
然而，大体说来，网络封闭是人为的研究设计,例如网络边界任意定义的结果。
大多数包含了在组织成员或位置规范正式定义基础上的社会网络，都被描述为在一个正式成立组织中所占据的排名位置。
例如,100位最著名的政客或者500家一流的企业.当研究者选择社会网络中所包含的规则时，应通过此研究所包含的所有可能网络进行非概率抽样。
网络中的动态变化加剧了问题的产生.由Laumannetal。
（1983）所提倡的方法是关注可衡量的交流。
网络边界因此被描述为在一个固定场景中记录的人与人之间的交流.这种方法直到最近才用于小型网络的研究，来源于邮件交流或虚拟交流的大型规模社会交流数据也被接纳采用。
交流场景或情景需要操作规章，然后再包括所有在此情景下交流的参与者。
文档为个人收集整理，来源于网络个人收集整理，勿做商业用途
图1.边界规范问题的说明。
排除试验者会导致网络统计量的显著变化。
在以上的例子中，排除试验者D的结果是平均网络度数z减少25%,从
到
.
由于社会网络由参与者和参与者之间的关系所构建而成，边界规范问题包含两方面.除了描述一系列试验者的网络边界，研究者还应该考虑他们之间是何种关系。
本文将采用基于试验者参与团体、事件或活动的多情景交流方法.它是联合网络，由毗邻参与者之间所有相关的关系组成,这在基于社会影响的动态过程中尤为重要.每一共同参与事件、共享的联系或交流场景都是创造、维护或操纵组织和人与人之间关系的机会。
上述的例子则由二分图来阐述,第一类顶点集代表事件，第二类顶点集代表试验者.如果实验者参与一项事件，各自顶点将会由一条边连接起来。
为了强调实验者顶点集，我们将双模式“关系”图变为单模式网络，能抓住实验者之间的多种社会关系。
单模式投射图必定包含许多重叠的集团。
每一个重叠的集团都是指一个或几个关系或交流情景。
在二分图中，如果实验者参与了既定的交流场景，则应该加入一个新的关系到网络中。
然而，相关的场景可能会冗余,某种程度上意味着包含了社会结构中相同的信息。
传统的网络分析方法为了分析易处理性将不同的关系情景分开。
社会网络在教科书的定义为人与人之间形成的相互关系（WassermanandFaust，1994）。
单模式网络近年来被广泛使用并取得重要的分析结果。
然而，此系列文献研究重点关注的是网络的简单模型（例如顶点度的混合匹配），而在大多数现实情况中不可能成立,因为结构性和基于属性的处理过程都很重要.因此，我们建议社会网络的多情景交流模式（由二分图产生）比简单的随机图表模式更加有利。
它以合理的方式产生,有利于分析，根据定义也考虑到简单随机图表难以表达在实际社会网络中可以观察到的某些特征（例如高聚集系数）。
图2（a）紧密相连投射的解释。
给定的二分（或双模式）联系图中，新的网络是在一系列试验者基础上描述的，如果两个试验者在协作图中同属于一个或者更多的场景中则他们就被联系起来。
在上述的例子中，共有7位试验者（（A–G））和3个小组（
1–
3）。
观察在单模式投影中相对应于三个交流场景的三个交叉团体。
通过赋予每个场景重量并计算每对联结的参与者总重量，就可以区分紧密相连投射中不同层级之间的联结密度。
然而，我们所关注的点在于它足以使用简单的无向图说明；也就是说，能否辨别两个试验者是否联系，忽略联系的强度。
（b）联系的边界规范问题。
设想在上述例子中我们没有包含交流场景
2。
这将对于单模式网络所观察的特质有重大的影响。
例如，有可能变得没有联系等。
2.2无应答效应
在网络调查研究中一个重要的问题就是调查无应答.在一个典型的情景下（譬如从大众中选派出一个代表性例子），可以利用特殊技术纠正响应率不足时的系数估计值（LittleandRubin，2002）.不幸的是，尽管无应答对于社会网络特征的影响在之前的一些研究中得以描述，这种最终性方法不能适用于社会网络分析。
我们对于简单的无应答方案如何影响网络结构并探索性提出改善问题的方法。
含无应答者的单模式网络已被证明可以应用于统计学方法，而在带有多情景交流的社会网络（被建为二分图模型）中无应答也会有许多具体的影响。
在一个有联系的网络中，试验者被要求报告自己属于哪个团体。
假设我们没有组织联系的任何其他信息源。
如果其中有任何一个人无应答,所有他的联系都将消失，导致的数据缺失模式将等同于试验者的边界规范问题,即随机遗漏网络中部分试验者的模型。
然而，如果在调查中，让参与者命名与其相交流的同伴（即忽略关系的复杂性）此时无应答效应将会由交互式提名相抵消（StorkandRichards，1992）。
假设试验者C没有填写网络问卷（图3）.然而C的参与调查中的交流者（A和B）必须报告他们与C的交流。
个人直觉上会期望如果无应答者相对于网络规模来说数量很小研究者并不需要所有交互式提名（作为原始的效度检查），由无应答者引起的数据缺失量可以小到忽略不计。
文档为个人收集整理,来源于网络个人收集整理，勿做商业用途
图3网络调查中的无响应。
假设试验者C，D和E没有报告他们的联系。
然而,由A,B，F和G的提名将在很大程度上有助于修复交流结构，伴随着平均度数减少了低于15%。
比较于图1的边界规范问题,一个单独的代码缺失引起平均度数25％的差异。
2。
3固定选择设计
社会网络数据有时会因研究设计而导致偏差。
本文中我们称之为所谓的“固定选择效应”.试想一下在一个朋友网络中，每个人都拥有1-10个朋友.网络研究者通常会让应答者提名固定数量的人数。
他们想知道特殊方式中构建的网络是否与真实的朋友网络不同以及不同点在哪里。
固定选择设计引入顶点度的右删失（HollandandLeinhard，1973）。
这种数据缺失机制经常在网络调查中出现。
假设试验者A属于K组并与x个其它试验者相联系（图4a）。
在紧密相连的情形下，试验者被要求从其x个交流者名单中提名X个人,例如X个最好的朋友（图4b）。
如果临界值大于或等于真实朋友数量（X
x）,我们就认为A所有的x个交流者以及朋友都包含在数据集中.如果X〈x,试验者必须消除x—X个联系者，但是那些被A提名的朋友仍然要求进行同样的提名。
因此，原始网络中的一些关系可能被双方交流者报告（相互提名），一些则有一个同伴提名（无交互式提名），而一些则没被报告（被检查的联系）。
研究人员应酌情决定是否将与交互式联系质的不同的无交互式联系包含在其中（例如好朋友与一般的熟人）。
固定选择命名很容易导致非随机数据缺失模式。
例如，拥有更多联系的名人被提名的可能性更大（Feld，1991；Newman,2003a）。
此作用取决于网络是混合非匹配度数还是同型匹配（Newman，2002;V´azquezandMoreno,2003）:
在第一种情况下，高顶点度的联结总与低顶点度相匹配，因此更多被删失的联结有可能使用交互式提名来修复。
这是网络结构如何与数据缺失机制相互作用的例子。
文档为个人收集整理，来源于网络本文为互联网收集,请勿用作商业用途
图4固定选择设计的说明.（a）二分图情况：
每个试验者从其联系中固定提名数K。
提名如箭头所示。
（b）单模式情况:
每个试验者从其所认识人名单中提名固定人数X。
上图中假设K=X=1.注意只有1个交互式的提名（在A和B之间）.
3数据以及感兴趣的统计量
3.1网络层统计量
当我们想研究顶点或边出现缺失时对网络拓扑结构的影响，应该测量试验者紧密相连投射图标的以下特征：
平均顶点度（平均每位试验者交流的数目），体现了网络紧密度;聚集系数C,松散地解释为任何两个有相互毗邻顶点自我联结的概率;匹配系数r，表明一条边在端点度的皮尔逊相关系数（Newman，2002）；最大连通成分的规模S；以及在最大连通成分中所有对顶点之间的平均道路长度（平均最短距离）。
如果相对错误
10%，那
我们认为数据缺失影响系数Q是可以接受的，式中q是数据缺失模型的估计量，
是从已知数据中计算而来的相对“真”值。
3.2数据
我们根据已有文献将协作和关系图作为多情景社会网络的例子（DavisandMizruchi，1999；Mizruchi，1996；Newman,2001）。
我们截取洛斯阿拉莫斯实验室数据库的1995-1999年中来自凝聚态物质部分（Cond—mat）的作者和论文数据以及随机二分图,用以说明网络数据缺失问题。
数据集的特征总结在表1中.
我们把协作图与综合具有相同数据顶点和边的100张随机二分图进行比较,将试验者的数目固定N=16726，组数M=22016，试验者平均度数u=3.50以及组的平均度数为v=2.66。
（图5b）。
度序列并不是固定的，因此更加接近于泊松分布（Bollob´as,2001；Newmanetal。
，2001）。
相对于随机模型，在凝聚态物质协作网络中，每篇论文的作者数量分布以及每个作者的论文数量分布是大大向左倾斜（图5a）.在单模式合作作者网络（共同作者的数量）中顶点度分布类似临界值接近k=100的指数幂率分布（图5a，点），而随机图则显示出在尾部有明确临界值的双峰形状分布。
在随机二分图的紧密相连投射中，有许多有中等密集度的顶点确很少有大量共同作者的顶点.在单模式投射中，cond—mat的平均度值z=5。
69，而随机图的z=9。
31,意味着在凝聚态物质协作网络中属于非随机分配作者写论文。
在两种情况z>1，表明了存在着很大的连通成分（Bollob´as，2001）..
图5：
Cond-mat协作图（a）和相比较的随机网络（b）顶点度数分布图。
方块：
每位作者的论文数量;星星：
每篇论文包含的作者数量；点：
每位作者合作对象的数量。
数据已经进行对数分级。
从表1可以看出，凝聚态物质协作图的二分图形式是不匹配的（
=-0.18）而单模式投射是相匹配的（
=0。
18）。
这表明了在小型协作网中工作的作者平均出版的论文数量更多；有许多合作者的物理学家也总喜欢选择与自己相近的人工作；同样的，那些只有部分合作者的也是最多产的物理学家,他们总喜欢相互合作；除了提供凝聚态物质物理学的科学家产出物模型的见解外，匹配性对于网络鲁棒性有深刻的影响。
表1网络数据集特征
数量
符号
Cond—mat
Random
作者的数量
N
16726
16726
论文数量
M
22016
22016
每位作者平均撰写论文数量
u
3.5
3.5
每篇论文平均包含作者数量
V
2。
66
2。
66
匹配性（度相关性）
—0.18
—0.054
紧密相连投射（合作者）
平均度数
Z
5。
69
9。
31（3）
度数方差
V
41.2
33.9（6）
集聚系数
C
0.36
0。
223
（1）
匹配性
0。
18
0.071（5）
成分的数量
NC
1188
652（18）
最大成分规模
SL
13861
16064（18）
最大成分的平均道路
6。
63
4。
728（8）
Random（随机）:
与原始网络具有相同规模和平均度数的随机二分图.括号里的数字是整合的100张图表中计算而来最不显著数字的标准偏差。
混合匹配网络（
>0）一个最突出的特征是由所谓的核心成员组织而成、相互连结的高度数顶点。
核心成员按指数律提供许多不同连结低度数顶点的方法。
从传染病学的角度，此核心形成疾病持续爆发的蓄水池，即使整体网络密度太低难以爆发传染病。
然而，好消息是混合匹配性对网络爆发可能会限制于顶点中的小子集.不匹配的网络则因高顶点度能提供全球网络连结，导致其较易被攻击（Newman,2003a）。
尽管因大型系统规模限制,随机图匹配性为0，但它或许是因有限规模效应获得非匹配性，例如禁止两个顶点之间有多条边的限制（Maslovetal。
2002；Newman,2003a）。
同样的方式，若组数与试验者数量不同时，随机二分图显示出混合非匹配性，这与二分图的定义相吻合（没有边联结同一集合的顶点），符合了没有试验者两次属于同一组的要求。
模拟的整体随机二分图显示出小却重要的非匹配性,而相对应的单模式网络则是度数的混合匹配。
要谨记的是聚集系数匹配性（或一般来说,混合模式）和度分布都是非独立的。
尤其是简单图表的混合非匹配系数能够导致聚集系数的降低,通过抑制高度数顶点的联系有利于低度数的顶点，从而减少网络中三合分子的数量。
3。
3算法
模拟算法的大致步骤：
（1）使用真实的（足够大）社会网络或随机图表的整体并假设网络数据是完整；
（2）排除部分实体,模拟不同类型错误；（3）测量网络特性且与“真”值相比较（来自整个网络）：
（4）多次重复
（2）（3）步骤直至产生感兴趣统计量的分布。
表2总结我们的模拟模型。
TABEL2
用于敏感性分析的模拟算法
4。
结果与讨论
4.1边界规范问题和无应答效应的对比
Cond-mat的协作图与相对应的随机二分图模拟结果在图6—11中被绘制出来。
从左到右表示数据缺失成分增加,原点假设为网络中信息能够被充分使用。
模型中,情景的边界规范问题（BSPC）通过随机移除网络中相对应集合（论文）中的顶点。
试验者的边界规范问题（BSPA）通过随机消除在协作网络情况下，对应于“试验者”的顶点集。
无应答调查不同于BSPA，前者并不是顶点从网络中移除，但是所有被随机安排“无应答”的顶点之间的边被消除。
4。
1。
1平均顶点度数
随机二分图中，试验者在紧密相连投射中的平均度数随着试验者或组织的随机遗漏而呈现线性递减:
z=uv（1—
），公式中
是缺失的试验者或组织的相对数量,（观察图6b中所示的重叠曲线）.然而在单模式的协作网络中,BSPC（图6a，点）模拟的平均顶点度数要比BSPA（方块）减少的慢。
这种表现意味着试验者（作者）被非随机分配到组织（论文）中,引出接下我们要介绍组织联系中的“冗余"的概念。
图6不同数据缺失机制下紧密相连投射z的平均顶点度数的敏感度.（a）凝聚态物质图;（b）随机二分图中。
点:
互动情境下边界规范（未列入）的影响（BSPC）；横轴对应该数据库缺失文件的部分。
方块:
对X轴（BSPA）与数据库中作者信息缺失部分相关的试验者未列入影响。
注意，在小组b中，点与正方形重叠。
星星：
模拟调查中作者之间的非响应（NRE）;顶点假定随机非响应.X轴表示无应答者的部分。
插图：
相对误差ε=|Z-Z0|/Z0，其中Z0是真正的价值。
每个数据点平均超过50次迭代.连接数据点的线是为了观察更为直观.
获得交流情景的平均重要性的方法之一便是衡量二分图中我们所谓的“冗余”。
我们将冗余定义为
，其中u为每个试验者参与组织的平均数，v是组织的平均规模,以及z表示紧密相连投射中一系列的试验者所得的实际（观察）平均试验者度数。
在一个完整的二分图中所有的联系除了一个都是冗余的，意味着他们与已经被联系的试验者进行联结（图7a），因此在M
（M是联结的数量）时，
。
另一种极端情况就是非循环二分图（图7b），图中如果两个试验者属于相同的联系且是共同的唯一联系，因此z=uv以及
=0.假设这样的随机图中每对相连接的试验者都共同参与了三项事件。
单模式中的试验者平均度数z=uv/3，所以冗余
=1-1/3=2/3。
随机二分图的冗余期望接近于0因为z
uv，当组织规模缩小时变成等于（Newmanetal。
2001）。
一般情况下,高冗余意味着随着新的交流场景出现，他们有可能联系已经被联结的试验者。
Cond—matt协作图中的冗余
，意味着如果协作规模在平均数之上大幅见顶,那么大约40%的协作会被遗漏,且没有引起紧密相连投射中结构的任何显著性变化。
然而,这并不是常见的情形，因为组织规模是十分倾斜的。
一些重要的联系被视为将共同合作者的本地组织联结在一起的“中心”，有可能会增加BSPC网络的敏感性.我们来回忆下在原始二分图网络中度相关系数
=—0.18，表明在小的协作网中工作的作者总是更多产的（这个事实反映了数据集的本质和有限的时间框架，Newman，2001）.文档为个人收集整理,来源于网络文档为个人收集整理，来源于网络
图7完全最大冗余二分图（a）与非循环二分图（b）举例
可以预料到，由于非交互式提名,无应答效应并没有BSP严重，在能接受的70％的反应率中，更好的达到了相对错误率也少于10%。
4.1。
2集群
试验者的随机遗漏（图8，方块）似乎对于紧密相连的集聚系数没有影响。
这种结果可以预期到，因为所有的聚集系数都是通过联合组织成员来表示,其模式并不受到随机删除试验者而受到影响.交流场景导致结果中聚集系数以及社会网络中二分图的混合模型，这在直觉上是可信的。
图8（点）意味着随机遗漏场景（BSPC）会导致集群增加.正如上文所提到的，二分图中每个交流情景或组织在试验者的单模式网络中对应于一个小团体。
如果二分图中的冗余足够大,这些小团体就会出现重叠。
随着更多的交流场景被移除，单模式网络中的团体就会互相失去联系，因此有效的减少了连通三点组的顶点数量N3，而使得三合分子的数量N△增加。
这引起集聚系数
增长。
相反，无应答（图8,星星）导致集群系数变低。
因为无响应下的联系缺失是指联结无应答的代码，否则网络连通性是不会受影响的，这种机制打通三点组要比产生二人组合或者隔离更快,因此，集聚系数减小。
相对误差率（图8b，插图）取决于集群系数的“真”值.对于由服从泊松度分布的随机图表而产生的单模式网络，在BSPC情况下集聚系数随着C（
）=1/（1+u（1—
））而变化,而在无应答情况下则十分接近于
/（1+u（1-
）），其中
分别表示缺失组或无应答顶点的部分。
第一个结果依据于公式C（
）=1/（1+u）,来源于Newmanetal。
（2001）；第二个结果是我们根据模拟的猜测。
BSPC和无应答或许在一些幸运的情况下能互相补偿，这似乎是可信的,然而它们各自将大幅影响聚集系数的估计值并扩大测量误差。
讽刺的是，取消一种错误源保留另一种能够严重损害网络聚集系数的估计值。
图8紧密相连的投射中集群c的敏感度：
点：
表示遗漏的互动情境;方块：
表示遗漏的试验者;星星：
表示无反应调查。
4。
1。
3匹配性
图9所绘制的模拟结果显示，在集群情况下,BSPC增加了紧密相连的投射中的度度相关系数而无应答则使得它减少，最终导致非匹配的混合模式。
当它们提高集群估计的不确定性以及含未知数据缺失模式网络的匹配性时，我们应重点关注这些事实。
已经证明度数混合匹配的紧密相连二分图网络比非匹配或神经网络在除去顶点时鲁棒性更强（Newman，2003b）。
几个社会网络,包括本文所分析单模式协作图已经发现是混合匹配的.在这些网络中，匹配中心能够形成维持疾病的蓄水池,即使整体网络中没有疫情出现（3。
2部分）.然而，观察一下,我们常常高估了多情景交流场景网络中的混合系数，这导致了情景的边界规范问题（图9，点），较小程度上造成试验者边界规范问题。
因此,假设研究者采取措施最小化无应答，完整的社会网络或许会比他们表面拥有更少的匹配性。
这一发现也证明是基于实际网络数据的疾病控制策略中成本—利益分析的重要因素。
图9紧密相连投射中度匹配系数
的敏感度.点：
表示遗漏的互动情境;方块：
表示遗漏
的试验者；星星：
表示无应答调查。
4.1。
4最大连通成分的规模
从图10中可以看出，协作网络（图）在调查无响应中非常稳定:
得到良好的估计值,其中反应率在70%甚至更好（含相同系数的随机图表为50%）。
另一方面，试验者遗漏（方块）导致网络连通性立即且退化严重。
交流场景遗漏（点）的影响介于中间。
不列入的试验者（以及要求提名的无应答的试验者）类似于计算机网络中最近几篇研究分析的所谓“代码失败”。
（（Alber
升级会员 