基于数据模式识别整合框架的SOFMSVM模型及其应用Word文档下载推荐.docx

1、结合统计聚类中的聚类误差概念定义一个聚类数有效性指标,利用 SOFM算法中间结果进行指标求解,以筛选出有效或最佳聚类数;提出一种新的噪声识别算法Anti-NO算法用于对样本中的异常数据进行甄别和过滤;利用 SVM模型的中间结果提取分类边界数据;进一步充实了包括模式类、噪声集和边界在内的模式识别成果。最后将该整合模型应用于上市公司信用模式识别的实例,证明该整合策略和模型对于解决 C2CMA数据挖掘任务是可行有效的,同时为定量研究证券信用模式分类问题做出新的探索。关键词:模式识别 聚类 分类 自组织特征映射 支持向量机 信用模式1基于数据模式识别整合框架的SOFM-SVM模型及其应用 Abstra

2、ct Based on the theory and methods of data pattern recognition, this thesis focused on the disadvantages of the unaided use with unsupervised clustering and supervised classifying method to classify the unlabeled data samples, and furtherly proposed a method of C2CMAfrom clustering to classification

3、 mining application, which integrates clustering with classifying method to solve the problem of pattern recognition. An integrated strategy called DPRIFData Pattern Recognition Integrated Frame was also proposed, which is used to discover and explain data pattern when sample set is lack of labeled

4、information. It can also be used to create a classifier which is more stable and more accurate, and can be used to discriminate and forecast new data. Under the guidance of DPRIF integrating strategy, we set up an integreted SOFM-SVM model. Then we analyzed and optimized the model from the aspects o

5、f operating mechanism, data interface and function expandedness. The PCA method was introduced to reduce dimensionality and extract features, then to strengthen the clustering explanation; defined a CMI index, to ascertain the most effective or the best clustering number; A new Anti-NO algorithm was

6、 proposed to recognize and to filter the suspecious data in the sample; The medium result of SVM model was used to extract the borderline datas between two classified groups. This research compensated for the achievements of data recognition including pattern data, noises data and borderline data. F

7、inally the integrated model was used in the recongnition of listed companies credit pattern. The results proved that this DPRIF and SOFM-SVM model is effective in solving C2CMA problem. Furthermore, we explored in quantitative research on the issue of stocks credit pattern recognition Keyword:Patter

8、n Recognition, Clustering, Classification, SOFM, SVMCredit Pattern2基于数据模式识别整合框架的SOFM-SVM模型及其应用 中文摘要1 Abstract2 第一章 综述1 1.1模式识别的概念及其内容.1 1.2 国内外研究现状.1 1.3 当前研究的重点和发展趋势4 1.4 本文的主要工作.5 第二章 数据模式识别整合框架.6 2.1 分离的模式识别方法的不足和整合模式识别框架（DPRIF）的提出6 2.2 DPRIF的整合优势12 2.3 DPRIF需要解决的若干问题.13 2.4 本章小结14 第三章 基于DPRIF的SO

9、FM-SVM模型基础15 3.1自组织特征映射神经网络（SOFM）及其算法.15 3.2 SVM基本原理及其基本模型.18 3.3 整合SOFM-SVM模型22 3.4 本章小结26 第四章 基于DPRIF的SOFM-SVM模型局部分析和改进.27 4.1 特征提取和聚类解释问题?降维PCA处理27 4.2 聚类数目与聚类有效性分析?CMI算法.28 4.3 噪声的过滤问题?Anti-NO算法.30 4.4 分类边界问题?提取分类边界.33 4.5 多类分类器的处理?多类SVM34 4.6 本章小结35 第五章 基于DPRIF的整合SOFM-SVM模型在上市公司信用模式识别中的应用36 5.1

10、 应用背景36 5.2 实证分析过程.37 5.3 小结评价45 第六章 结论与展望.46 参考文献.47 附录一:2002年200只沪深上市公司股票数据（未经标准化）?训练集51 附录二:2002年78只沪深上市公司股票数据（未经标准化）?测试集.56 在学期间发表的论文及科研成果58 致谢593第一章 综述 第一章 综述 1.1模式识别的概念及其内容 模式识别技术是 20世纪六十年代初发展起来的一门学科。它体现了一种“物以类聚”的思想,它所研究的理论和方法在很多学科和技术领域得以广泛应用,推动了人工智能系统的发展,扩大了计算机技术的应用领域。 模式（Pattern）是对象的适当抽象和表达。

11、模式识别（Pattern Recognition）是一门研究对象描述和分类方法的学科,即依据一定特征属性或标准,通过一定的方法和手段,使原本凌乱涣散的对象得以归类研究,既便于从宏观上认识和把握已知事物的抽象化特征和共性,更利于对未知的、未来的新事物做出推断。它的研究对象和对象的属性值有多种类型,如信号系统、图象系统、符号系统和数值系统等,一般较为常见的是数值型对象,起对应的方法也比较多,而且很多其他形式的对象及其属性值可相应转换成数值类型。所以,本文所指的模式对象主要是数值数据。相应地,数据模式识别定义为:从数值型属性对象中进行模式发现、描述、分类的过程。模式识别的方法有多种,但其目标是要在表

12、示空间和解释空间中找到映射关系,为达此目的,一般有两类方法:1、无监督学习、数据驱动、归纳的方法:事先没有关于样本类别的先验知识,通过一种有效的方法“发掘”样本的内在相似性而进行分类,主要是各种聚类方法包括统计聚类、模糊聚类、神经网络聚类等;2、有监督学习、概念驱动、演绎的方法:在给定的模式下（有样本的类别信息）假定存在一个映射,用训练集与目标值对应以逼近这个映射,主要是各种分类方法:统计判决、神经网络分类、支持向量机分类等。一个模式识别系统概图如下:输入 感知 特征提取 分类 后处理 结论或决策1.2 国内外研究现状 由于本文研究的思路主要集中在模式识别过程、方法的结构化整合和集成上,而整合

13、的框架和逻辑结构又是按从无监督聚类向有监督分类的方向推进的,所以对国内外研究现状的综述主要集中在聚类和分类两方面技术发展,并一定程度上综述了这两方面的应用研究现状。1.2.1 国外研究现状 1.2.1.1 统计模式识别方法的发展 国外的模式识别研究始于统计模式识别理论和方法的开创。在早期研究阶段,Duda 和1第一章 综述 1 2 3Hart 、Tou和 Gonzalez 、Fu 等人把模式识别问题阐述为统计判决问题,即把模式识别问题表示成多维空间中的密度函数的估计问题,并在多维空间中划分类别或区域,这些判决超平面是通过合适的判决函数来表示的。16在聚类分析的研究方面,Hartigan （19

14、75）较为系统地分析了聚类的典型目的,认为聚类是为了“获得数据的有用概括和解释”,指出将数据从聚类性质方面解释取代了将其从单独的属性方面解释的重要性。根据一定模式的相似性测度（如各种距离测度、相似性测度、匹配测度）和样本在聚类中的积聚规则,迄今在统计模式识别领域已发展了很多种聚类方法,比较常用的有:系统聚类法、动态聚类法（C-均值法及其改进）、ISODATA法（K-均值法及1720其改进）。 随着模糊集合论的兴起,Bezdek和 Dunn（1987）等人也开始把模糊处理方法引进聚类分析（如 C-均值模糊聚类法）,此后人们提出了多种模糊聚类方法。在聚类的有效性分析方面,国外研究偏向于利用聚类价值指数来反映类内相异程度的,其中 Mc Intyre和21Blashfield （1980）提出了一种称为“复制分析”（类似于交叉有效性分析）的有效性检验15方式;此外,Milligan （1996）还提出了