气象云计算数据中心方案.docx
《气象云计算数据中心方案.docx》由会员分享，可在线阅读，更多相关《气象云计算数据中心方案.docx（7页珍藏版）》请在冰豆网上搜索。
气象云计算数据中心方案
气象云计算数据中心方案
一、引言
云计算问世，便以其巨大的冲击力撼动着所有与IT相关的业务领域，并以其旺盛的生命力重组着IT界的格局。
由于有着巨大的服务优势、应用便捷优势、资源成本优势和专业化运行维护优势，云计算在未来的信息业务中将成为主要的业务运行形态，这在业界早已形成广泛的共识。
就气象部门而言，虽然云计算的概念早已被引入，并被广泛讨论和实践，但更为贴近气象部门业务实际的，是数据中心。
建立以数据中心为核心的气象业务形态，这一目标在气象部门已被普遍接受。
改革开放以来至2010年代，中国气象局已逐步形成了国-省-地-县四级业务层级，每个层级都有其明确的业务职责和范围，并配置有相应的业务系统。
2016年起，随着CIMISS1.0的业务化以及省级推广，各省局、直辖市和计划单列市内部已逐渐开始形成以本省省级数据资源（含CIMISS1.0）为核心的省级气象业务格局。
与此同时，一些省局也在逐步尝试着以本省的省级数据资源支持省内地、县两级气象业务，并希望以此为契机，逐步将地、县两级气象业务由“运行在当地”调整为“运行在省端”，从而形成类似于“云端/客户端”的“云计算”形态，这样既可充分利用全省各种资源、享受省级各种服务，也可减轻地、县两级的运维压力。
上述这类工作不可避免地遇到了一定的阻力和困难，不少地市一级的气象业务至今无法通过省级核心数据库予以直接支持，而只能依靠本地数据库运行。
如果这类现状无法改变，即：
无法应用省级数据资源直接地全面支持地、县两级业务，那么为保障各级单位气象服务的能力和水准，当地的数据库便将长期存在下去，从而在省内形成省-地（甚至省-地-县）为层级结构的“分布式数据中心”格局。
数据的分布必然导致业务的分布，当地的许多业务也将因数据问题而长期运行在当地，无法“运行在省端”。
由此产生的基础资源和人力成本的浪费以及业务应用领域的低水平重复建设等现象，将因之而长期存在。
因此，未来气象数据中心的形态，即：
最终是以云计算的形态构成气象数据中心，还是以分布式数据库形态构成气象数据中心，将决定未来气象业务的基本运行形态。
本文以四川省局实践为基础，供领域专家赏鉴。
二、四川省局的实践成果
四川省局近年来在开发应用省级数据库，形成以数据为核心的业务形态方面，进行了多种尝试。
2.1.数据资源建设特色
在省级数据资源方面，四川省局在原有CIMISS1.0（全国综合气象信息共享平台）系统及相关规范标准基础上，建成了CIMISS-MICAPS4分布式数据环境，实现了对全省省-市-县预报业务平台的高效直接支撑；引进虚谷分布式数据库，有效弥补了CIMISS系统在结构化数据管理和共享能力不足等方面的问题，从而形成了由CIMISS、Cassandra、虚谷三套数据库管理系统为核心，数据库间互为备份，数据库管理资料互为备份的高可靠省级数据环境，用户体验较以前有大幅度提高。
其中：
1）CIMISS数据库：
主要采用ORACLE关系型数据库，管理资料类型基本涵盖了预报预测及科研使用的所有资料。
缺点是对地面、高空等常规资料的分钟级或小时级数据较长时段检索时效率较低，对模式产品等非结构化数据检索时亦有类似问题。
主要原因是系统设计年代较久，而业务发展又很快，很多新的业务需求需要更先进的技术才能满足要求。
2）Cassandra数据库：
一种分布式数据库。
长项是对模式产品、雷达、卫星等非结构化资料能快速处理和提供共享，也可对要素级的结构化资料进行高效共享。
3）虚谷数据库：
一种分布式关系型数据库。
长项是管理地面、高空等结构化气象观探测数据，访问性能良好，在600并发下，系统仍然能以毫秒级的速度响应。
但对管理非结构化气象数据则不擅长。
综合三个数据库的优缺点，四川省局形成了如下的系统结构：
图1省级数据环境架构图
2.2.全省气象业务系统概览
在支撑业务系统方面，四川省级数据环境实现了对全省市州局及直属单位（28个单位）用户数据访问服务的直接支撑，并对精细化预报订正平台、Micaps4、四川省气象业务内网、县级综合观测业务集成平台、新一代天气雷达PUP产品共享系统等12业务系统提供数据服务，涵盖综合观测、预报预测、气象服务、科研和人影等多个气象业务领域，日均检索400万次，日均服务数据量700GB，初步形成了以省级数据环境支撑全省气象业务的扁平化格局，成为气象数据流动的“主动脉”。
然而，并非所有业务系统目前皆可由省级数据资源予以直接支持。
经初步统计，目前全省省、地两级气象业务中仍有相当一部分业务系统无法通过升级数据资源予以直接数据支撑，大致情况见下表。
表1省级数据资源对四川全省气象业务支持情况
级别
单位
系统
数目
运行地点
省数据源
单独支持情况
省局
市局
可
否
省
省局气象台
15
√
15
省局数据中心
12
√
12
人影办
3
√
2
1
气候中心
11
√
7
4
农气中心
2
√
2
农信中心
2
√
2
灾防中心
11
√
11
服务中心
2
√
2
高原所
2
√
2
地市
雅安市气象局
19
√
9
10
达州市气象局
2
√
2
德阳市气象局
8
√
2
6
攀枝花市气象局
2
√
2
乐山市气象局
4
√
2
2
南充市气象局
4
√
2
2
三、问题分析和结论
“省级数据资源无法单独支持”（表1右侧最后一列）业务系统的原因众多，经过逐一分析，可将这些原因分为三类：
（1）不需要省级数据源支持；
（2）省级数据源不完整；（3）省级数据资源含有所需数据。
但由于各种原因，仍未能支持这些业务系统，其中：
第一类，不需要省级数据资源支持，包括有：
省局气候中心的CIPAS、FODAS、MODES等，这些系统是由相应的国家级单位统一开发后下发安装在省局的，并由国家级单位直接提供数据支持，其数据源在国家级而不在省局。
第二类，省级数据资源不完整，无法单独支持这些业务系统，如：
省局人影中心的“弹药物联网管理系统”。
该系统所需数据由该系统独立管理，省级数据资源未予管理，故无法予以支持。
其它如“德阳综合业务考试系统”等与此类似。
第三类，省级数据资源中已包含有这些系统所需数据，但因各种原因，这些系统（地市级业务系统）未能获得省级数据资源的支持。
这类系统占“未获省级数据支持”业务系统的2/3以上。
经逐一分析，导致这种情况的主要原因有：
1）业务系统陈旧，难以修改系统以适应省级数据资源的数据接口规范。
2）省级数据资源资料获取不便，尤其是历史资料。
3）省级数据资源的宣介范围和力度不够，基层业务人员（如：
预报员）对省级数据资源的获取方法不够了解。
4）基层业务人员不习惯对省级数据资源所用数据格式，每次使用均需格式转换，导致工作流程繁杂。
5）目前的CIMISS1.0数据环境虽然提供了标准的数据源提供数据访问，但不支持地县级个性化数据存储和应用开发部署环境，各地开发应用时必须采用本地小数据环境，融合CIMISS转存的数据，方能支撑本地化应用。
6）目前的省级数据资源没有好的平台支持数据挖掘、数据融合分析等本地（地市级）历史个例数据分析等应用，致使地市局不得不将数据存储在本地来进行相关的工作。
综上所述可知，影响省级数据资源支持全省气象业务的原因主要有：
1）所支持的业务系统过于陈旧，难以改造以适应省级数据环境数据规范。
2）省级数据环境内容不完整，无法满足业务系统的数据需求。
3）省级数据环境功能有所欠缺，无法支持业务系统的数据应用。
4）基层业务人员对相关的标准规范不熟悉、不习惯。
上述每一条原因，都是地市一级数据环境必须存在的充分条件。
同时我们也可看出，上述问题分别属于技术问题、管理问题和项目建设问题，这些问题虽然客观存在，但绝非不可克服，均可通过相应的方法和渠道予以解决。
因此，影响省级数据环境直接支持全省气象业务的原因并非无法克服，如果我们满足了如下三个前提条件的话：
1）省级数据环境必须充分满足各级单位（包括地县两级）对数据获取、应用开发和数据存储等各种个性化需求。
2）适时组织适当的项目建设，对陈旧的业务系统进行升级改造，以适应省级数据资源的各种规范要求。
3）在广泛深入宣贯的基础上，严格执行相应的标准规范。
换句话说，如果满足了上面三个条件的话，依靠省级数据资源来直接支持全省各级气象业务，便是可行的。
四、省级数据资源定位与思考
4.1.从业务可行性的角度考量省级数据资源
胡小明先生在前不久的一次会议上提出了“业务可行性”的概念，按照胡先生的观点，业务可行与技术可行是两个不同的判别标准：
技术可行性决定系统能否运行，而业务可行性决定系统运行的效益与可持续性。
技术可行未见得业务可行，一个业务不可行的系统，即便因其技术可行而强行上线运行，最终也会因其业务的不可行而被放弃。
业务不可行是系统造成重大浪费的主要原因。
意欲直接支撑全省气象业务的省级数据资源，应当充分关注并努力实现其做为全省气象数据核心数据库在全省内的业务可行性，即：
能否真正有效地支持各级气象业务。
而要做到这一点，省级数据资源除必须具备通常意义上的各种非功能性需求外，至少应当包括以下内容：
1）完整性：
包括数据的完整性和功能的完整性。
2）便捷性：
包括用户（尤其是远程用户）使用的便捷性，功能和数据内容扩展的便捷性，以及维护的便捷性。
3）友好性：
友善对待并充分满足省-地-县各级业务用户的各种个性化应用需求。
当然还有其他等内容，这其中“友好性”甚为重要，因为这直接影响基层业务人员的实际业务能力和业务效果，因而直接影响着基层对省级数据资源的接纳程度和时间。
而要真正做到“友好性”，无论从哪个方面来看，都并不容易。
此外，需要明确的是，工具是为业务应用而存在的，工具服务于业务应用。
应当先确定问题，再寻找解决问题的方法和工具，而非相反。
4.2.做好数据中台，放开个性化应用
理想的支持全省气象业务的省级数据资源，并非是一个大包大揽、试图把一切业务系统和功能都纳入其怀中的大一统系统，而应当是一个充分保障所有气象业务所需要的通用数据资源和通用数据应用功能的通用型数据服务系统，即所谓“数据中台”。
各级、各地以及各行各业的各种个性化气象应用业务，省级数据资源不可能也没有必要将其全部统摄于自己的麾下。
做好所有通用型的维护、管理和服务工作，是省级数据资源的本职。
在制定好较为完善的规则和标准的前提下，放手让各专业的业务人员依照规则开发各专业的个性化业务应用，形成在数据中台通用型数据服务的基础上，各种个性化业务百花齐放的格局，这是我们追求的目标。
当然，在良好的数据中台支持的背景下，如何使得各项个性化业务能够快速形成、有效运转、并能在生长过程中彼此有效地借用，这也是省局乃至国家级气象IT部门应当思考和解决的问题。
基于SOA的、以大平台微应用为基本形态的业务前台，也许是一个选项。
但这已超出本文话题，不予详述。
总之，做好数据中台的本职工作，开放个性化应用，这是未来省级数据资源的理想状态。
五、结语
近二十年来，网络带宽依照巴特尔定律（Butter’sLaw）飞速增长，因网络传输时延造成的技术障碍正在逐步消除。
在此背景下，人们有理由认为，如果省级数据资源在满足“前提条件”的情况下，能够支持全省气象业务，那么国家级数据资源，在充分满足各省“前提条件”的背景下，也能够支持全国的气象业务。
以国家级数据资源来支持全国的气象业务，这意味着，在通信带宽充分保障（以满足省地县业务运行的最低时延要求）的前提下，全国气象部门省地县三级业务系统，可集中运行在国家级数据资源所在地——国家气象数据中心，从而形成业务系统运行在国家级，业务应用散布于全国各地
升级会员 