沙尘暴资料的数据挖掘算法分析及系统实现计算数学专业毕业论文.docx

1、沙尘暴资料的数据挖掘算法分析及系统实现计算数学专业毕业论文沙尘暴资料的数据挖掘算法分析及系统实现-计算数学专业毕业论文AbstractThe paper introduces the domestic and international current situation of the development of sand-dust storm study，data mining and the fundamental knowledge of data mining such as the models of data mining process，criterions，technique

2、s，and mining stepsThe Microsoft OLE DB for DM and DMX(Data Mining eXtensions)also are introduced brieflyThe domestic data mining on meteorological data is in beginning It iS a challenge to mine meteorological data due to two reasons Firstly， meteorological data are a kind of complex dataThey are bot

3、h spatialdata and timeseries dataTheir storage formats are veritySecondly，data mining tasks are very complex and the professional data mining algorithms for meteor0109ical data are a fewFirstWe obtain the data mining tasks by analysing the userS requirements，and transform them to data mining algorit

4、hmsSecond，we select the relevant data from sanddust storm data in recent 46 years of 241 observations in Northwest ChinaA data warehouse was built after the data being cleaned and transformedLast，We developed an interactive and visual sand-dust storm data mining systemIt can be dealt with the data c

5、leaning，data transforming，data mining，model assessing and result displaying on an interactive andvisual platformWe try to apply general data mining algorithms such as Association analysis，Regression analysis，Clustering and Spatial analysis to data mining on meteorological data，and obtain useful know

6、l edgeFor resolving the problems in meteorological field，we design the Circleregion continuealgorithms and simply time continue algorithms by simplifying DBSCAN。A SCircle scan algorithm and a rectangle SCan algorithms were designed based on DBSCAN to resolve its missing cluster problemThey can find

7、whether high dense continuous area exists or not exactly in samples regionWe bring forward a constraint-based Continuous RainfallOvercast(CRFo)algorithm with cluster assessingthe CRFO uses hierarchical clustering ideait can effetely resolve time continuous problem in meteorologyWe also bring forward

8、 period data fetching algorithm in folded dataThe algorithm can aggregate folded data of the same period of time every year，which OLAPdrilling and simple SQL aggregating cannot realizeSome significant characteristics(knowledge)of sanddust storm are discovered byapplying our data mining systemThe kno

9、wledge is helpful for meteorological researchers and forecasters，it can be used to study and forecast the source，moving，start time and occur times of sand-dust storm and SO onThe result shows the data mining is effectiveon meteor0109ical dataIt is feasible to implement data mining technology on mete

10、orological data But many works must be resolved firstly to apply widely，for example to research the sui table data mining algorithms for meteorological tasks，to study model assessing technique to use domain knowledge，and to boost mining effi c i entKeyword：meteorological data，sanddust storm，data min

11、ing，time continue，spatial continue，time-spatial continue，continuous rainfall&overcast algorithm，association analysis，multipleregression，Clusteringn学位论文独创性声明本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研 究成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已 经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均己 在文中作了明确说明并表示谢意。本声明的法律责任由本人承担作者签名：塑I坚蟹 日期：2

12、pp学位论文授权使用声明本人在导师的指导下所完成的论文及相关的职务作品，知识产权归属兰州 大学。本人完全了解兰州大学有关保存、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。允许论 文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用任何复制手段保存和汇编本学位论文。本人离 校后发表、使用学位论文或与该论文直接相关的学术论文或成果时，第一署名 单位仍然为兰州大学。保密的学位论文在解密后适用本规定。糊 签名哟越眺沙尘暴资料的数据挖掘算法分析及系统实现第一章绪论1。1沙尘暴的定义111沙尘暴的定义沙尘暴作

13、为一种天气现象，是沙尘天气的一种。沙尘天气分为浮尘、扬沙、沙尘暴 和强沙尘暴四类。浮尘：尘土、细沙均匀地浮游在空中，使水平能见度小于lO公里的 天气现象；扬沙：风将地面尘沙吹起，使空气相当混浊，水平能见度在1公里至10公 里以内的天气现象；沙尘暴：强风将地面大量沙尘吹起，使空气很混浊，水平能见度小 于1公里的天气现象；强沙尘暴：大风将地面尘沙吹起，使空气很混浊，水平能见度小 于500米的天气现象n1。气象观测站对沙尘暴的观测数据有：能见度、开始时间、结束 时间等。由于沙尘暴出现时，风力大，能见度低，会出现影响交通、破坏工农业生产、 甚至发生人员伤亡。沙尘暴是我国北部的主要自然灾害之一，如199

14、355目的“黑风” (对很强的沙尘暴的称呼)造成内蒙“被风沙埋死牲畜14万头(只)，刮走帐篷和蒙古包180多项，3000多间学校校舍屋项被掀起”的灾害乜1。沙尘暴是气象条件(大风、冷空气)和地表条件共同作用的结果，缺一不可。112区域沙尘暴对于沙尘暴，气象上采用能见度来表示其强度，但该强度仅表示单站的沙尘暴强度， 但不能真实反映某一区域内沙尘暴的强度信息，如范围，持续时间等，因为它不含地域 范围信息和持续时间。为此，在平时使用时引入区域性沙尘暴的概念，来反映沙尘暴的 强度，它可以比较客观、真实地反映发生在一个区域内的沙尘暴强度。区域沙尘暴在气 象中的定义为“在预报区域内相邻3个或3个以上的台站

15、出现了沙尘暴天气，在这个 定义中，增加了三个约束，即“预报区域内、“相邻”、“3个或3个以上的台站。在本 文中，将满足以上条件的沙尘暴称作区域连续性沙尘暴，不满足以一卜条件的沙尘暴叫区 域不连续沙尘暴。区域性沙尘暴标准可以反映沙尘暴的空间范围强度，在实际业务中使 用较多，有的文献称其为群发性沙尘暴b，。沙尘暴资料的数据挖掘算法分析及系统实现113沙尘暴天气过程在气象领域，一般将一次性质相同，连续出现，中间不间断的天气叫一个天气过程， 顾名思义，沙尘暴天气过程是指连续发生的沙尘暴天气。冯建英等人称其为时间连续性 沙尘暴铷，对于没有连续出现的沙尘暴称为时间不连续性沙尘暴。结合沙尘暴地域范围的标准和

16、和时间连续性两个标准，可将区域性沙尘暴分为四类 (见下表)，即时间不连续、区域不连续性沙尘暴；时间不连续性沙尘暴、区域连续时 间连续性沙尘暴；区域不连续时间连续性沙尘暴：时间连续、区域连续性沙尘暴，最后 这种沙尘暴也叫区域沙尘暴天气过程。表卜1区域性沙尘暴分类表12沙尘暴国内外研究现状沙尘暴是世界上是分布较广的气象现象，引起国内外许多科学家的关注，美国等许 多国家在本世纪30年代就开始了沙尘暴研究，现已形成监测和对策的系统研究，美国 还研制出专门用于龙卷、沙尘暴的数值模式，对其成因机理、环境因素等进行深入研究。 而对撒哈拉沙漠沙尘暴天气研究已发展到概念模式的阶段。我国从70年代初开始对沙 尘暴

17、天气进行研究，并在沙尘暴的成因分析、监测和预报方法等方面进行了一些探索， 取得了一定的成果。与国际上其它地区相比，我国沙尘暴天气研究起步较晚，且大多研 究仅限于个例分析，缺乏系统性。而且由于沙尘暴样本事件和资料覆盖面的差异得出的 结论不尽相同畸儿们。目前对沙尘暴的研究除了监测外，研究主要分为两个分支，第一，即从微观入手研 究沙尘暴的发生、发展、沙尘输送机理、气溶胶特性等，第二，利用统计方法，利用历 史资料研究沙尘暴出现的规律及其影响等口1。采用微观方法研究的有澳大利亚利用起沙机制设计的沙尘暴数值预报模式；北京气 象科学研究院以GRAPES数值预报为基础，研制的中国沙尘暴数值模等。国内采用统计方

18、法研究沙尘暴的比较多，如国内的钱正安睛1、周自江D1、王式功阳12沙尘暴资料的数据挖掘算法分析及系统实现等，他们利用历史资料，发现了中国沙尘暴的分布特点、演变趋势等，得出中国沙尘暴 在逐渐减少的事实。本项目建设的沙尘暴数据挖掘系统，是国内第一个沙尘暴专业气象数据的挖掘系 统。13数据挖掘在气象中的应用气象学科是在数学、物理、计算机等学科基础上产生的一门交叉学科，其研究的最 终目的是从历史数据中发现规律，并利用这些规律去预测未来的天气、气候。采用的方 法主要是数值计算和数理统计。用于气象数据分析的方法有谐波分析、方差分析、回归 分析、EOF展开、相关分析、小波分析、SVD等n们，但这些方法的使用

19、仅限于对特定 数据的处理，也没有图形显示，大部分工作需要用户自己来完成，一般人员难以掌握。由于数据量大，气象数据基本采用文件方式管理数据，已经形成了世界上比较规范 的气象数据文件格式，如GIRD、GIRB、NETCDF等，过去国内#lql更少使用数据库存储、 管理大型的气象数据，近几年，由于数据库性能的提高和海量存储系统的发展，国内外 开始对一些基本观测数据开始采用数据库管理，由此推动了数据库技术在气象领域的使 用。131国外气象数据挖掘研究情况通过美国计算机协会(ACM)的ACM Digital Library全文数据库，采用“(data mining) and (weather)or(me

20、teor0109ical)or(climate)”搜索，可以找到192篇相关 的文献，通过查阅，其中真正涉及气象数据挖掘的不足100篇，这些文章研究的内容涉 及空间数据分析1羽、气象模式识别1朝114、时间序列分析n51、预报n63、孤立点分析盯3、 气象数据的逆向挖掘“8(逆问题猜想1明)，并行气象数据挖掘呦1等方面。132国外气象数据挖掘应用情况美国海洋大气局(NOAA)为全球用户提供了WEB架构的在线数据挖掘系统CLASS(Comprehensive Large Array-data Stewardship System)，通过它向用户提供3沙尘暴资料的数据挖掘算法分析及系统实现NOAA

21、和DoD(us Department of Defense)的气象数据和极轨卫星数据他，网站地址为 http：lspidrdngdcnoaagovclass)。ESSE(Environmental Scenario Search Engine)也是一个灵活、高效、易用的 环境数据挖掘引擎，它不同与一般文本搜索引擎，可以从大量的数值格式的数据集中准 确地找到特定参数值、条件或场景数据等，也可以采用模糊搜索，按用户指定的模糊概 念搜索，如“特别大、“平均、“100左右”等。该系统用于美国NCEP(National Centers for Environmental Prediction)的产品发布

22、(hUp：essewdcbru)，并向社会提供数据 下载和数据挖掘服务口扣。该项目组的负责人DrMikhaii Zhizhiin目前是俄罗斯科学 院日地物理世界数据中心数据信息技术部主任、美国国家地球物理数据中心交流学者， 是气象领域从事数据挖掘的知名专家。另一个涉及气象数据挖掘的是欧洲的DEGREE(Dissemination and Exploitation of Grids in Earth science)项目，该项目主要将网格技术应用于地球科学数据(包含气 象)，利用网格技术进行地球科学数据的挖掘瞳扣。地址为：http：degreeipgpjussieufr!。Vis5D是立体可视化

23、气象数据显示软件，最初由美国威斯康星大学空间科学和工程 中心(SSEC)开发，现在由麻省理工学院和美国国家大气研究中，巴,(National Center for Atmosphedc Reseamh。+NCAR)的专家共同开发j Vis5D是一个针对气象数据的交互式 立体视图软件系统，是目前世界上功能最强大的气象数据图形显示软件，它提供了对具 有空间属性和时间属性 资料的动态 立体显现。可 以对多元三 维网格进行 等值面动画、 水平等值线 分析、风轨迹 反演、任意二 维剖面数据分析等，并可 图I-1：vis5D现显示效果图4沙尘暴资料的数据挖掘算法分析及系统实现叠加世界区域的地形图。可以实现

24、在5维空间对数据的可视化任意挖掘(主要是数据钻 取、切片、旋转)。5D的前3维是空间变量，即行、列和层(或者纬度、经度和高度)， 第4维是时间变量，第5维是各种物理变量，如温度、气压、含水量等幽3。图1-1为Vis5D 显示结果。随着GIS技术的发展，气象数据与GIS的结合也越来越紧密，但目前大多数研究仅 限于用GIS作气候区划，或用GIS作为气象资料显示的基础平台乜司乜6|。133国内气象数据挖掘研究情况但在国内，数据挖掘在气象领域的研究和应用较少，相关的文献较少，在19992007 年的维普中文期刊数据库中采用“数据挖掘”和“气象两个关键字仅能搜出60篇文 献，其中用到数据挖掘的不足20篇

25、，主要研究内容主要在建立数据库和数据仓库、OLAP、 气象预报等方面。可以说，数据挖掘在气象领域的应用尚处于起步阶段。比如王丽珍、石扬等采用时间序列进行气象预测矧瞳引，谭晓光研究了数据仓库在天 气预报决策中的应用，并对数据挖掘及数据仓库在气象领域的应用作了分析例，刘伟等 将OLAP与WEBGIS结合，设计了气象资料的显示系统，李娜娜等尝试利用关联规则发 现灾害天气之间的关联关系m1，李集明等在气象科学数据共享项目中引入气象元数据的 概念，并开发了基于元数据的数据搜索引擎D别，是数据挖掘技术在国内的一次较大规模 使用案例。134国内气象数据挖掘应用情况90年代末，国内气象部门在气象业务中开始使用

26、数据库技术，以此为契机，推动了 数据库及其相关技术在国内气象领域的发展，但目前使用数据挖掘技术开发的业务系统 较少。1997年，中国气象局9210工程信息收集系统采用Sybase数据建立了实时气象资料 库，并在此基础上，开发了资料收集、分发、共享服务系统口3I。该系统虽然主要是一个 OLTP系统，但它是将数据库应用于我国气象业务的第一个业务应用系统。2003年，中国局统一布点的自动气象站，采用SQL Server 2000管理数据，并提供WEB界面的查询系统汹1。沙尘暴资料的数据挖掘算法分析及系统实现此外各省气象部门也在以数据库为基础，以各种方式提供气象资料的共享、查询、 下载等服务，在这些项

27、目中有些引入了数据挖掘技术，为用户提供了数据定制和简单的 挖掘功能。比较有代表性的是全国统一部署的“气象科学数据共享网” (cdccmagovcn)，它通过元数据技术开发了数据搜索引擎，是数据挖掘技术在气象 资料共享服务方面的一次成功应用。14研究的意义数据挖掘应用已越来越广泛，但由于数据挖掘具有明显的面向领域数据及具体任务 的特点，数据挖掘主要在金融、保险、电信等领域，专业的数据挖掘系统很少涉及沙尘 暴资料；一些商业的数据挖掘软件SPSS、SAS等专业性太强，挖掘算法为通用的算法， 不一定适合气象领域；数据挖掘过程中，数据清理和数据转换是一项专业性很强，又十 分繁琐的工作；同时气象数据是一种

28、复杂数据，它同时具有空间属性和时间序列属性， 而且具有多个要素，不同要素之间相互制约，相互影响，利用数据挖掘技术处理气象资 料要比一般的商业领域问题要复杂得多。鉴于此，利用数据挖掘技术，研究解决气象问题的算法，开发一个面向气象科研、 业务人员的沙尘暴数据挖掘系统，一方面可以满足气象科研、业务人员获取各类沙尘暴 资料的需要，为用户在大量信息中提取有关沙尘暴的知识，另一方面，也是数据挖掘技 术在气象中的一次尝试，具有重要意义。同时本论文研究内容是科技部社会公益类研究专项项目“西北干旱区沙尘暴预警、 服务系统研究”的第一专题“西北干旱区沙尘暴数据库”的主要内容，项目最初的目的 在于建立信息量尽可能全

29、面的西北干旱区沙尘暴基本数据库，并为其他子项目提供数据 支撑。通过本项目建立了我国第一个内容齐全、功能强大的西北干旱区沙尘暴数据库， 填补了国内沙尘暴专业数据库方面的空白。6沙尘暴资料的数据挖掘算法分析及系统实现第二章数据挖掘概述21数据挖掘的定义数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的 实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知 识的过程。在学术界，一些学者只是把数据挖掘视为数据库中知识发现(Knowledge Discovery in Databases，KDD)过程的一个基本步骤，但是大多数学者认为数据挖掘 和K

30、DD是等同的许多认为数据挖掘即数据库中的知识发现汹1。22数据挖掘所发现的知识广义知识(Generalization)：广义知识指类别特征的概括性描述知识。根据数据 的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映 同类事物共同性质，是对数据的概括、精炼和抽象。通过数据特征化或区分实现。关联知识(Association)：它反映一个事件和其他事件之间依赖或关联的知识。如 果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预 测。最为著名的关联规则发现方法是RAgrawal提出的Apriori算法。分类知识(ClassificationClus

31、tering)： 它反映同类事物共同性质的特征型知 识和不同事物之间的差异型特征知识。最为典型的分类方法是基于决策树的分类方法。 数据分类还有统计、粗糙集(Rough Set)等方法。线性回归和线性辨别分析是典型的 统计模型。为降低决策树生成代价，人们还提出了一种区间分类器。最近也有人研究使 用神经网络方法在数据库中进行分类和规则提取。预测型知识(Prediction)：它根据时间序列型数据，由历史的和当前的数据去推 测未来的数据，也可以认为是以时间为关键属性的关联知识。目前，时间序列预测方法 有经典的统计方法、神经网络和机器学习等。偏差型知识(Deviation)： 它是对差异和极端特例的描述，揭示事物偏离常规的异 常现象，如标准类外的特例，数据聚类外的离群值等。7沙尘暴资料的数据挖掘算法分析及系统实现23数据挖掘过程的5A模型在数据挖掘的发展中，为了抽象系统化方法，人们提出了一些数据挖掘过程的参考 模型或标准，如SPSS提出的5A(Assess-Access-Analyze-Act-Automate)，SAS提出的 SEMMA(SampleExploreModifyModel-Assess)；数据挖掘特别兴趣小组提出的“数据 挖掘交叉行业标准过程”CRISP