灾害天气综合数据库系统设计与实现.docx

1、灾害天气综合数据库系统设计与实现分类号：TP311 单位代码：10422密 级： 学 号：200812656硕士学位论文论文题目: 灾害天气综合数据库系统设计与实现 The Design and Implementation of the Integrated Database System of Severe Weather作者姓名 刘 岩 专 业 软件工程 指导教师 张彩明 教授 2010年4月10日原创性声明和关于论文使用授权的说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或

2、撰写过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名： 日期： 关于学位论文使用授权的声明本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。（保密论文在解密后应遵守此规定）论文作者签名： 导师签名: 日期： CONTENTS摘 要我国地处亚洲东部，地形分布特征极其复杂，灾害天气频发，每年给国民经济人民生活带来巨大损失

3、1。灾害天气综合数据库系统正是中国气象科学研究院围绕国家需求，为研究引发暴雨、大风、冰雹以及沙尘暴等灾害天气的形成原因，提升灾害天气监测与预测水平而对卫星、雷达、常规资料、数值预报、973项目数据等众多海量气象观测数据进行科学合理的存储管理，并为气科院各级科研人员和公众提供方便快捷的数据在线服务而投资建设的综合性数据库系统。灾害天气综合数据库系统的核心在于灾害气象信息数据存储。种类多、范围广、实时性强、海量数据、类型复杂、科学型是气象数据的特征，如何进行有效地存储规划与选择合理的管理模式，一直是气象数据存储领域的重大课题。为此，本文首先简要描述了灾害天气综合数据库系统的开发背景、国内外气象数据

4、资料存储服务领域的现状及发展趋势，阐述解决的主要问题和完成的主要工作。在此基础上，借鉴国外类似系统的开发经验，采用统一建模语言为分析设计的描述语言，对灾害天气综合数据库系统进行了需求分析和系统设计，以数据存储为主线详细介绍了灾害天气气象数据存储规划策略，分析设计并实现了系统的自动化存储管理等应用。本文着重介绍灾害天气综合数据库系统的构建及在其存储服务实现过程中所采用的关键技术和算法，主要包括：第一，在充分调研和深入理解气象科学数据标准的基础上，获得用户需求和数据处理业务流程，包括功能性需求和非功能性需求，并通过分析总结出合理存储规划的设计和开发思路。第二，对现有的历史气象数据进行整理和加工，实

5、现全部元数据和部分要素数据入库工作。第三，按照功能将系统分解为七大模块，结合工作重点对部分模块进行详细的分析与设计。在系统分析设计过程中，对需求获取的方法、数据特性卡分析手段以及各阶段UML工具的使用等进行了规范。第四，关注对系统性能有严格要求的检索服务，通过数据检索对比试验，完成了对后台数据库性能的测试评估，并以此为据着重进行了存储规划设计。第五，设计构建数据表对象模型，给出系统配置信息，以常规探空数据为例，实现相关产品数据入库的完整处理逻辑。最后，对灾害天气综合数据库系统的设计和实现进行了总结。关键字：灾害天气；数据库；海量数据；存储规划；存储管理ABSTRACTChina is loca

6、ted in eastern Asia. The extremely complex topographic distribution characteristics and the weather disasters may take place every year which cost a great loss to the national economy and peoples lives. Integrated database system of severe weather is designed by Chinese Academy of Meteorological Sci

7、ences(CAMS), according to the nations needs and in order to research the cause of torrential rains, strong winds, hail, dust storms and other weather disasters, and to improve the level of monitoring and prediction of weather disasters. For the reasons given above, CAMS investments the construction

8、of this integrated database system which can provides scientific and reasonable storage management of satellites data, radars data, general observation data, numerical forecasting, 973 project data, and many other mass meteorological observation data. After completion，the system will provide conveni

9、ent online services to both the CAMS researchers at all levels and the general public. The core of the integrated database system of severe weather is the storage management of meteorological data. The feature of meteorological data is variety, wide range, strongly real-time, massive data, complex t

10、ypes and scientific. How to effectively choose the right storage planning and management model has been a major issue of the domain of meteorological data storage. Therefore, this paper discribes the development background of the integrated database system of severe weather, the situation and trend

11、among the fields of meteorological data storage services, and the depiction of the main problem to be finished and completed. After that, foreign experiences in the development of similar systems are referenced in this article. Which using the Unified Modeling Language for analysis and design of the

12、 integrated database system of severe weather, needs analysis and system design using data storage as a main line of details of the severe weather meteorological datas storage planning strategy, analysis, designs and implementations of the automatic storage management applications. This article focu

13、ses on the key techniques and algorithms used in the process of the implementation in the construction of the integrated database system of severe weather, which including: First, on the basis of full investigation and in-depth understanding of meteorological science data standards, users needs and

14、data processes, which including functional requirements and non-functional requirements, and then a reasonable conclusion of storage planning design and ideas of development was drawn by analyzing. Second, processing has done with the existing historical meteorological data, to storage all of the me

15、ta-data and some elements of data. Third, this system is divided to seven main modules，part of which are analysisd and designed in detail according to the focus of the task. The demand access methods, the data analysis tools as well as the cards of data characteristics and all stages of the use of U

16、ML tools are standardized in the systematic analysis of the design process.Fourth, data retrieval performance has been focused on as one of the most important requirements for access services. By using the comparison test, the back-end database performance testing and evaluation have been completed.

17、 And the result of the test was used for the design of the storage planning. Fifth, data sheet object models have been designed. In the implementation part of this paper, configuration information of the system have been given, processing logic of data storage will be achieved with an example of the

18、 complete procedure of storage of the conventional air sounding data. Finally, design and implementation of the integrated database system of severe weather are summarized. Keyword: Severe weather; Database; Massive data; Storage planning; Storage management第1章 绪论1.1 灾害天气综合数据库系统开发背景中国气象科学研究院(CAMS，即C

19、hinese Academy of Meteorological Sciences，以下简称气科院)隶属于中国气象局，其前身为1956年8月成立的中央气象科学研究所，1978年更名为中央气象局气象科学研究院，1991年更为现名, 2001年起进入科技部支持的国家公益类研究院。气科院是我国大气科学领域学科种类最多、规模最大的科研机构，是以研究雷电防护与大气探测、人工影响天气、灾害天气、气候与气候系统、生态环境与农业气象、数值模式以及大气成分等为主攻方向的我国大气科学综合研究基地，主持和承担了多项国家科技攻关项目、国家自然科学基金重点和重大项目、国家重点基础研究发展规划项目（973项目）、国家重大

20、专项以及部委重大研究项目等，研究内容涉及到大气科学及相关学科的各个方面2。灾害天气国家重点实验室(LaSW,即State Key Laboratory of Severe Weather)是在原中国气象科学研究院强风暴实验室和数值预报中心基础上组建的，2005年3月,实验室正式进入建设阶段，2007年8月实验室通过了建设期的验收，2008年3月正式进入国家重点实验室的行列。我国地处亚洲东部，地形分布特征极其复杂，极端天气频繁，为世界上遭受自然灾害最多的国家之一。而灾害天气，主要包括暴雨、台风、冰雹、沙尘暴等，每年都给国民经济和人民生命财产带来巨大损失。近年来，在全球变暖背景下，我国气象灾害和极

21、端天气事件更加频繁发生，造成的社会经济损失日趋增加，成为影响国民经济发展、社会进步的重要不利因素。因此，提高灾害天气的监测与预测水平不仅是各级政府部门指挥防灾减灾最为迫切的需要，同时也对增强我国防灾减灾的总体能力，确保我国社会与国民经济可持续发展具有极为重要的意义，是国家的重大需求。2005年以来组建的灾害天气国家重点实验室正是立足国际前沿，围绕国家需求，定位于应用基础研究，重点研究领域为引发暴雨、大风、冰雹等气象灾害的中尺度强对流系统以及沙尘暴等灾害天气，建成我国在灾害天气监测与预测领域的研究基地，充分利用技术先进、设施完备的工作平台，集中力量分析积累起来的大量的气象观测数据和资料，进一步揭

22、示灾害性天气发生发展的规律和形成机理，提高对灾害天气的有效监测能力和定量预报能力。由于体制等方面的原因，目前气科院灾害天气数据的存储管理仍沿用组建之初所使用的老系统，由人工进行处理，采取单一的文件式存储，缺乏统一的管理与调控，数据共享程度较低，数据查询效率较差。天气资料尤其是典型灾害天气个例资料的存档与共享缺乏标准与规范，相当一部分数据存储于档案柜。即便已建成的部分数据库也缺乏可供遵循的标准，数据分类存储、加工能力较差，并且没有引入元数据的概念，这样无论在数据共享还是数据维护方面都带来了极大的困难。另外，由于各式气象数据的存储流程被割裂为几段，需要人工衔接。系统在设计过程中没有遵循用户的业务操

23、作习惯，导致数据存储与服务效率极为低下。以上问题产生的原因，主要是缺少数据存储整体规划、在系统实施过程中对业务及功能需求的把握不准确、系统的设计缺乏整体考虑和灵活性等。灾害天气国家重点实验室研究的数据范围主要囊括了卫星、雷达、常规资料、数值预报等众多种类的观测数据，并承接如南方暴雨监测预测研究数据等973项目数据，这些数据的数据量非常巨大，因此对其进行科学合理的管理，并为科学研究人员提供方便高效的服务就显得至关重要。在这种背景下，灾害天气综合数据库系统建设项目应运而生。IDSSW（Integrated Database System of Severe Weather 灾害天气综合数据库系统）

24、负责制定常规资料、数值预报、雷达、卫星等基础数据以及灾害天气实验室各项目数据的存储管理策略，根据策略对各类数据进行统一存储与管理，并以此为基础，为气科院各级用户提供基础数据和项目数据的在线查询和下载服务，同时也为外部用户提供一定的查询和下载服务。新系统建成后，在存储上实现基于Internet/Intranet的气象数据资料自动化管理，对中国气象局信息中心推送而来的各种文件数据实现文件存储与部分数据入库存储两种存储方式。本文的重点就是要根据上述要求设计完成对灾害天气数据库的平台开发，研究并应用合理的数据库存储方式，保证应用于气象研究的海量数据有序存储，并为客户提供可靠、快捷、方便的在线服务功能。

25、同时也对未来各省市灾害天气数据中心业务数据存储管理有较强的指导作用，因此具有非常重要的实践意义。1.2 国内外研究现状及发展趋势资料显示，气象数据是气象预报和进行气象科学研究的基础。因此,历史数据、实时数据以及相关的气象数据存储与管理自然就成为各类气象应用系统的重要组成部分。在灾害天气数据库系统中，气象数据信息的数据存储与管理框架是系统建设的重要内容。同时,气象数据作为一类科学型数据,其数据存储模式应是标准化、规范化、高可靠、大容量的数据存储与稳定、高效的管理体系，这是系统得以高效运行的关键3。对于种类多、范围广、实时性强、数据量大、类型复杂的气象数据,应该选择有效的存储与管理模式。目前常用的

26、Oracle 、Sybase 以及Informix 等数据库系统,主要适用于商业事务数据的存储管理以及检索查询与分析等。由于气象数据类型的复杂性以及巨大的数据量,若采取单一商业数据库，其适应性将受到很大限制4。目前国内外许多科学型数据大都采用文件系统作为存储方式,不同的科学数据采用不同的格式,同时有相应的存储管理体系用以完成数据的读、写以及检索。在气象数据资料存储服务领域中，国外起步较早，并认为文件系统是比较适宜的存储方式。例如美国的AWIPS(Advanced Weather Information Processing System，进阶天气交互处理系统),其格点数据使用NetCDF格式存

27、储,而云图、雷达数据则是直接存储了原始的数据文件5。我国气象部门统一使用的MICAPS(Meteorological Information Comprehensive Analyzed Processing System，气象信息综合分析处理系统) ,也采用了类似的存储方式，在数据存储与管理体系中应用与国际标准接轨的设计思想,文件格式多为二进制文件(BIN)与文本文件(TXT)。数据量大是气象数据的显著特点,以文件形式存储的数据可以利用先进的文件压缩技术对其进行压缩,以大大节省磁盘空间。相应的数据管理系统,可以方便地对数据库进行各项操作,而且只需提供特定的特性字段数据即可方便、快捷地检索到所

28、需数据文件67。但是，随着气象分析研究技术的日新月异，对数据内容的综合处理已经成为数据存储与科学研究之间日渐扩大的鸿沟，灾害天气的综合分析研究与预报更是如此。就目前而言，气科院乃至中国气象局越来越多的科研项目涉及对不同区域、不同站点、不同时次采样数据的综合分析，尤以本文涉及的灾害天气为代表。因此单一的文件系统、文件式存储显然已经无法满足科研人员的要求。在国外有许多成熟的软件和气象服务平台能提供较多的气象服务，应用计算机技术实现气象资料的数字化、表格化、图形化，能很好的将气象资料经过加工处理整合在一起，创立气象数据信息共享平台。在国内一些地方气象部门也已经开始着手件事气象信息服务平台，气象监测数

29、据存储、气象预报研究、气象信息公共服务的业务系统也很多。然而建立一个灾害天气综合数据库要用到很多技术，能够自主开发的，真正用到实处并能带来很大方便的气象信息综合数据库系统在国内尚未实现8。国内的气象机构近年已开始构建全面的自动化存储管理，因此气科院借鉴国外类似系统的经验，在2009年提出以文件存储与数据库存储相结合的方式，研发灾害天气综合数据库系统，对气象科学尤其是灾害天气研究各项目所需气象数据资料实现自动化存储管理与存储优化。灾害天气数据库系统的核心在于灾害气象信息数据存储。一般来讲，灾害天气数据库系统指把应用于研究工作的灾害天气数据库、有关的硬件、软件和人员组合起来提供服务的系统，包含数据

30、库管理系统（DBMS）、支持DBMS的软硬件环境、灾害天气数据库、用户及其应用程序等。当前，已经有一些气象相关的软件、系统、网站能为气象科研人员提供方便，同时对广大人民群众的生活也提供了很多便利。但是这些服务共享平台系统运行不够稳定，安全性不高，运行速度不够快，尤其在数据存储、数据检索时存在着效率底下的问题。这类系统往往开发周期长、升级难度大、不容易移植，因此推广维护比较困难。在各类气象信息的加工、处理和发布上，也没有一定的逻辑性，缺乏系统的管理与维护。计算机及网络技术的迅猛发展，数据库、动态信息发布、资源高度共享等技术的应用，对气象信息综合数据库平台的整体性能和功能的提升具有十分重要的推动作

31、用。目前绝大多数大型应用系统采用B/S分层架构，使系统具有更好的可扩展性和可维护性。整个系统可以分为四层结构：客户端表现层应用服务层数据服务层，这四层分别由浏览器网络服务器应用服务器数据库服务器 构成。这样的多层软件架构确保了系统的扩展性和适应性。通常选择微软的SQL server或者Oracle为数据库系统。同时，基于这种多层结构，能够很方便得应用智能负载均衡与集群等技术实现系统服务能力的扩展。1.3 解决的主要问题灾害天气综合数据库系统是面向气科院各级科研人员，建立在中国气象局MICAPS系统之上的子系统，该系统由国家气象信息中心推送而获得气象信息数据，并对数据进行识别、转存与解析，最终对

32、灾害天气相关的气象科学研究提供可靠的支持。由于国内气象信息综合数据库系统的发展尚处于一个比较初级的阶段，并没有成熟的系统和规范可以参考，因此如何根据用户需求、类型复杂的气象数据标准设计满足气科院科研人员所需要的灾害天气综合数据库系统，完成数据存储规划与数据存储管理，以提高检索服务效率，是本文要解决的主要问题。第一，在充分调研和深入理解气象科学数据标准的基础上，获得用户需求和数据处理业务流程，包括功能需求和非功能需求，并通过分析总结出合理存储规划的设计和开发思路。第二，系统分析、设计过程中的面向对象技术和UML技术的使用。同时在设计方面，要充分考虑气象数据类型复杂、数据量巨大等业务特点，设计满足系统的高度适应性、可扩展性和易维护性。在系统整体上着重考虑系统的可靠性和高效性。在系统的数据库设计中要保证数据的准确性与处理流程的可追溯性。第三、系统核心业务存储规划与存储服务的实现。在系统设计的基础之上，应用设计好的数据模型实现由数据获取到日志记录一系列业务流程，解决基于多数据源入库请求、并发数据检索请求的效率问题。1.4 本文的主要工作本文在现有灾害天气信息系统基础之上，通过分析气科院灾害天气国家重点实验室各项数据