lecture10.docx

lecture10.docx

《lecture10.docx》由会员分享，可在线阅读，更多相关《lecture10.docx（7页珍藏版）》请在冰豆网上搜索。

lecture10

第十章模式识别系统的评价

10.1监督模式识别方法的错误率估计

10.1.1训练错误率

几个同义词：

训练错误率（TrainingErrorRate或简称作TrainingError）

视在错误率（ApparentError）

重代入错误率（re-substitutionerror）

经验风险

偏乐观

经验风险与期望风险的关系：

《统计学习理论》

10.1.2测试错误率

独立的测试集

N：

测试集样本数；k：

测试集错分样本数

最大似然估计

10.1.3交叉验证

n倍交叉验证（n-foldcrossvalidation）

留一法交叉验证（Leave-one-outcross-validation或简称作LOOCV）

10.1.4自举法与.632估计

B.632=0.368xAE+0.632xB1

10.2有限样本下错误率的区间估计问题

10.2.1问题的提出

例如：

怎样比较不同方法的性能或不同数据的可分性？

问题：

BengioY&GrandvaletY,Nounbiasedestimatorofthevarianceofk-foldcross-validation,JournalofMachineLearningResearch,5:

1089-1105,2004

10.2.2用扰动重采样估计SVM错误率的置信区间

BoJiang,XuegongZhangandTianxiCai,Estimatingtheconfidenceintervalforpredictionerrorsofsupportvectormachineclassifiers.JournalofMachineLearningResearch,9:

521-540,2008

10.3特征提取与选择对分类器性能估计的影响

样本数目很少时，CV1可能会导致对分类性能的估计偏乐观，极端情况下可能会引导到错误的结论。

10.4从分类的显著性推断特征与类别的关系

10.5非监督模式识别系统性能的评价

紧致性（compactness）或一致性（homogeneity）

连接性质（connectedness）

分离度（separation）

Silhouette值：

同时反映类内距离和类间距离的指标

Dunn指数（DunnIndex）