ROC分析方法概要_精品文档.docx
《ROC分析方法概要_精品文档.docx》由会员分享,可在线阅读,更多相关《ROC分析方法概要_精品文档.docx(11页珍藏版)》请在冰豆网上搜索。
第二章ROC曲线分析概要
本文先介绍了ROC理论的一些基础知识如特异度和灵敏度等,然后简要介绍了非参数ROC分析方法,并建立了ROC模型。
最后介绍了ROC曲线及在R软件中的绘制。
2.1ROC分析的基本要素
ROC分析的基本要素包括真阳性和假阳性也称灵敏度和特异度,以及“金标准”
“金标准”划分被测试者的真实状态为对照组和病例组两类。
常见的金标准有跟踪随访、活组织检查、尸体解剖、手术探查等。
虽然“金标准”没有必要是十全十美的,但“金标准”应与评价的诊断系统无关,而且比要评价的诊断系统更可靠。
“金标准”不够完美时,可用采用Bayesian、模糊金标准、EM估计等方法解决。
对按照“金标准”确定的二分类总体,对照组和病例组分别用阴性和阳性表示诊断试验结果。
假定总体样本量是N,诊断试验的可能结果总共有四种:
被测试者患病且被正确诊断为患病者,被测试者无病且被错误诊断为患病者,被测试者无病且被正确诊断为无病者,被测试者无病且被错误诊断为患病者。
我们可以用一个2×2的列联表来表示它们之间的关系。
诊断结果
“金标准”
合计
患病者
健康者
阳性
a(真阳性)
b(假阳性)
a+b
阴性
c(假阴性)
d(真阴性)
c+d
合计
a+c
b+d
a+b+c+d=N
TPR=aa+cFPR=bb+d
在医学研究中,诊断试验准确度指标最常用的是灵敏度与特异度。
灵敏度(sensitivity),也叫真阳率(truepositiverate,即TPR)是被测试者患病且被正确诊断为患病者的样本量在阳性总体中占的比例。
灵敏度值越大,假阴率越小。
据表2-1其计算公式是:
灵敏度(sensitivity)=真阳率(TPR)=1−假阴率(FNR)=aa+c
标准误为:
SETPR=ac/(a+c)3
特异度(specificity),也叫真阴率(truenon-positiverate,即TNPR),是受试者无病且被正确诊断为无病者的样本量占阴性总体的比例。
假阳率(falsepositiverate,即FPR)=1−特异度
特异度值越大,假阳率越小。
据表2-1其计算公式是:
特异度(specificity)=真阴率(TNPR)=1−假阳率(FPR)=db+d
标准误为:
SEFPR=bd/(b+d)3
假设二分类总体均服从正态分布,TPR、FPR、TNPR和FNPR之间的关系可以用图2-1来描述。
图中x=c为截断点(诊断阈值),α为假阳率(FPR),β为假阴率(FNPR)。
2.2ROC准确性评价指标的优越性
诊断试验的准确性评价指标有正确率、灵敏度和特异度等。
它们虽然都可以
反映诊断的准确性,但评价的效果不是很理想。
正确率是被测试者被正确诊断的例数和所占总体的百分数。
其计算公式是:
正确百分率=a+dN×100%
标准误是:
SE正确百分率=a+d(b+c)/N3
正确百分率的不足之处:
1.很大程度上依赖患病率。
例如,虽然患病率是5%,如果判定所有样本为健康者,也有可能有95%的正确百分率;
2.受诊断阈值的限制;
3.没有表示出假阳性和假阴性错误诊断所占的比例,没有唯一性表示,即使有相同的正确百分率的两个总体,也可能有十分不同的假阳性和假阴性。
基于此,单独计算灵敏度和特异度,以弥补正确率的不足,如果两个指标的值越高,诊断评价效果也就越好,其实不然。
在对诊断系统做出比较时,如果单独使用灵敏度与特异度,就会存在很大的不足:
这两个指标依赖于诊断阈值(或截断点),改变诊断阈值可以增加诊断的灵敏度,但同时也减少了特异度;反之,如果增加诊断的特异度,则需要以减少灵敏度为代价。
另外,有人提出的Youden指数、阳性似然比、:
真阳率与假阳率之比)和阴性似然比等等。
Youden指数是指真阳性率与假阳性率之差,计算公式为:
Youden指数=灵敏度+特异度-1=真阳性率-假阳性率
=TPR-FPR==aa+c-bb+d
其标准误为:
SEYouden指数=aca+c3+bdb+d3
阳性似然比(positivelikelihoodratio简写为:
LR+)是真阳性率与假阳性率之比,即灵敏度与(1-特异度)的比值,它是ROC曲线某工作点对应的斜率。
阴性似然比(negativelikelihoodratio简写为:
LR-)是假阴性率与真阴性率之比,即(1-敏感度)与特异度的比值。
这些诊断指标综合考虑了灵敏度和特异度,但一个指标只对应于一个诊断阈值。
当诊断阈值改变时,会得到不同的指标值,给诊断准确度的比较带来不便。
所以一般选择阳性似然比或Youden指数最大者为最佳工作点。
在评价整个诊断方法的准确性时用ROC分析,当改变诊断阈值时,可同时获得灵敏度和特异度,也就可以获得TPR和FPR值。
ROC曲线是以FPR为横坐标和以TPR为纵坐标绘制而成,并且ROC曲线下的面积大小衡量了诊断系统的判别能力。
2.3ROC曲线的构建
以假阳性率(FPR)为横坐标、真阳性率(TRP)为纵坐标,形成正方形,在图上将ROC工作点标出,并用线条将这些低昂依序连接起来构建不光滑的ROC曲线。
构建光滑的曲线需要交涉对照组和病例组服从于某一分布(如正态分布、Gamma分布等),用曲线拟合技术估计其参数,直接用参数产生曲线。
无论资料类型如何,曲线一定通过(0,0)和(1,1)两点,这两个点对应着灵敏度=0,特异度=1和灵敏度=1,特异度=0.理论上诊断实验都有TPR=1,FPR=0。
完全无价值的诊断为TPR=FPR,这条线条称为几率线(guessingline或chanceline),也称为无信息线(lineofnoinformation);
ROC曲线对诊断的准确性采用同一尺度直观地体现出来,描述了诊断实验对正反两种状态的判别能力。
曲线上每一个点通过改变其诊断阀值(截断点)而得,是灵敏度和特异度的折衷结果。
提高诊断标准则产生较低的灵敏度和较高的特异度;降低诊断标准则产生较高的灵敏度和较低的特异度。
如果比较两个诊断方法的效果,则较高的ROC曲线具有较好的诊断性能,如果曲线交叉,则通过计算曲线下面积进行进一步比较。
用ROC曲线下面积(记为AZ)反映诊断试验的准确度,它可以被看成是正确决策的概率。
该面积的取值范围为(0.5,1),完全无价值的诊断AZ=0.5;完美的诊断AZ=1。
习惯上认为ROC曲线下面积为0.50~0.70,表示诊断的准确度较低;在0.70~0.90之间表示诊断的准确度中等;面积达到0.90以上则表示诊断的准确度较高。
2.4ROC曲线的拟合方法
ROC曲线的获得是通过两个不同的总体(正常组和异常组),它的横轴和纵轴(假阳性率和真阳性率)存在相关关系,因此不能假定它们来自单一的总体,不能用一般非线性模型拟合。
ROC曲线拟合方法主要有双正态模型参数法和非参数法。
除了主要的ROC分析方法外,有序回归模型(包括位置尺度模型、比例优势模型、GEE法)、COX比例风险模型等也可以拟合ROC曲线、计算ROC曲线下面积以及标准误。
这些模型还考虑了协变量的混杂效应。
2.4.1双正态模型参数法
双正态模型假定正常组和异常组都服从正态分布。
当前该模型在ROC分析上比较完善,可以处理不同的ROC资料,获得光滑的ROC曲线。
当样本量较大时,有序分类数大于5时,该模型获得的结果是比较可靠的。
但是当样本量较少时,双正态模型拟合会产生退化资料,ML估计会迭代不收敛。
按“金标准”将实验对象划分为正常组和异常组,假设它们分别服从总体均值为μ0、μ1(μ0<μ1),方差为σ02、σ12的正态分布Nμ0,σ02、Nμ1,σ12,对任意诊断阀值(截断点)t,假阳性率为:
FPR=Prx0>t正常=1-Φ(t-μ0σ0)
真阳性率为:
TPR=Prx1>t异常=1-Φ(t-μ1σ1)
其中x0、x1分别表示正常组和异常组的实验测量值或有序分类之;t为截断点,实验测量值x>t,诊断为阳性,x≤t诊断为阴性;Φ(·)为标准正态累积分布函数。
令t=μ0+σ0Φ-1(1-FPR),则有:
TPR=Φ[μ1-μ0σ1+σ0σ1Φ-1FPR]
令a=μ1-μ0σ1,b=σ0σ1,则上式可写为:
TPR=Φ[a+bΦ-1FPR,0≤FPR≤1
其中Φ-1⋅为标准正态离差值。
整个ROC曲线下面积为:
AZ=Φa1+b2
参数a、b通过极大似然法(maximumlikelihood,ML)估计。
2.4.2非参数ROC拟合方法
非参数法主要有:
Hanley和McNeil法、Delong和Clarke-Pearson法。
非参数法对正常组和异常组的分布没有要求,它们可以充分利用所有的截断点,对连续性样本量没有大小的显著,不会出现计算结果不收敛的情况。
当截断点(或有序分类)大于5时,结果比较理想,当截断点不断增加时,ROC曲线将逐渐向光滑参数曲线靠拢。
Hanley和McNeil非参数法
假设正常组的观察值个数为n0,记作x1j(j=1,2,⋯,n0);异常组的观察值个数为n1,记作x0i(i=1,2,⋯,n1)。
异常组的观察值更大,根据WilcoxonMann-Whitney统计量,ROX曲线下面积(AZ)等于异常组每个观测值大于正常组每个观测值的概率。
即
AZ=1n1n0j=1n0i=1n1ψ(x0i,x1j)
ψx0i,x1j=1x1j>x0i0.5x1j=x0i0x1jAZ的标准误为:
SEAZ=AZ1-AZ+n1-1Q1-AZ2+n0-1Q2-AZ2n1n0
其中Q1是两个随机随着的异常组观测值比一个随机选择的正常组观察值都更大可能分类为异常的概率。
Q2是一个随机随着的异常组观测值比两个随机选择的正常组观察值都更大可能分类为异常的概率。
2.5基于非参数法的ROC分析
基于本文实证分析采用的是非参数方法的ROC模型,因此将在本小结着重介绍下非参数法的ROC分析。
2.51等级变量的非参数ROC分析
通常情况下,诊断系统获得的原始资料的记录有离散型和连续型两种形式。
许多生物医学诊断试验的测量工具是连续型的,如血清抗原和酶浓度;医学影像诊断试验的诊断结果是离散型的。
对于不同的形式,ROC曲线估计方法是相同的,我们以离散型诊断结果为例。
如果将诊断指标以有序分类的方式分成k类,k=1,…,K。
其中1类别表示完全没患病,K类别表示肯定患病。
假设对于每一个分类类别Y,有一个隐藏的连续决策变量X,将结果划分到第k类中,如果决策变量X在区间(τk-1,τk)中,k=1,…,K;τ0=-∞,τk=+∞;即当τk-1第k类中,Nk0表示第k类中的正常个体数,Nk1表示第k类中的异常个体数,N0为正常总个体数,N1表示异常总个体数,N表示总个体数。
一般可划分为5(或6)等级,即肯定不正常、可能不正常、异常可疑、可能正常、肯定正常,分别以1、2、3、4、5标记。
如表表示:
诊断结果
诊断分类
合计
1
2
3
4
5
正常
N10
N20
N30
N40
N50
N0
异常
N11
N21
N31
N41
N51
N1
合计
N
每个分类可以作为诊断阈值(通常从第二个分类开始,因为若以第一个分类为阈值,其实是没有什么意义的),阳性和阴性的判断标准是:
该类及以上类别的样本为阳性;该类以下样本为阴性,对于每一个诊断阈值,都可以整理出类似于表2-1的2×2的列联表。
例如,以表2-2中的分类3为诊断阈值时,正常组阳性个体数为N30+N40+N50,其假阳率为