气象云计算和大数据平台建设方案x.pptx

气象云计算和大数据平台建设方案x.pptx

《气象云计算和大数据平台建设方案x.pptx》由会员分享，可在线阅读，更多相关《气象云计算和大数据平台建设方案x.pptx（66页珍藏版）》请在冰豆网上搜索。

,气象云计算和大数据平台建设方案,技术创新，变革未来,需求梳理及行业发展趋势,01,气象行业解决方案,02,案例分析,04,目录,气象局新一代信息工程总体技术架构理解,重点解析：

总体架构和云架构是衔接-演进的关系,标准化数字化,数字化,标准化数字化,应用资源整合,数据资源整合,硬件资源整合,智慧气象云工程,以资源整合和应用集约为抓手，以标准化贯穿始终，从流程再造入手，初步完成数据、硬件和业务应用等三大资源整合，以统一构建的国省数据环境，统一规划的基础设施资源池，统一的加工处理流水线，构建扁平化的信息组织体系，为实施金云工程，发展智慧气象奠定基础。

气象信息化行动方案,实施气象信息化行动方案，夯实气象云建设基础智慧业务、智慧管理、智慧服务,管理信息化标准化,问题导向：

数据分散、信息孤岛、应用林立,资源整合共享是国家新一代信息工程建设的重点,应用导向，搭建国省统一CIMISS数据环境,以CIMISS为基础构建国省统一数据环境,CIMISS确立了标准，整合了各类数据这就是气象大数据在国省、省际流动并创造价值的前提基础,主要任务,发展战略,现状分析,标杆研究,需求,问题分析,内涵及要素构成,智慧城市愿景及目标,总体架构,业务架构,技术架构,重点工程,行动计划,关键路径,指标体系,应用架构,保障措施,气象信息化整体规划思路和路线,气象云主题建设内容,气象大数据主体建设内容,开放共赢融合创新,气象工程展示中心主体建设内容,气象应用体系主体建设内容,气象信息化建设发展方向：

大整合、大平台,业务,数据/平台,基础设施,管理,CIPAS,CIMISS,日志审计,MICAPS,请求服务,100,业务系统,基础库,行业库,实时库,自动站数据,业务网+气象专网+互联网二级、三级、四级网,网络,多品牌服务器+小机,FCSAN+NAS+分布式文件,服务器,存储,容灾,预报中心,气候中心,本地备份双活、异地容灾（弱）,公服中,气象中心心人工影响天气中心,气象信息中心（数据中心）,信息化现状,统一大平台门户,CIPAS,MICAPS,大数据分析平台,资源整合平台,资源服务平台,云计算服务,基础设施,统一运维管理,计算资源池,存储资源池,网络资源池,信息化痛点,信息化方向,业务自建、缺乏标准系统多杂，多次登陆重复录入，效率低下,数据量大，处理效率低数据格式杂，无法处理数据无法有效共享多元化数据如何创新,基础设施大整合,GIS数据资源大整合,业务支撑平台,业务应用大平台,业务厂商,设备多，品牌杂利用率低，服务器20%利用管理难，无法有效监控运维不灵活，难以支撑信息化扩展安全水平低，难以持续提供信息化基础设施能力信息化管理部门无法向快速为业务部门信息化需求提供服务,容灾资源池,卫星数据雷达数据结构化数据+非结构化数据百亿条基础数据，数值预报数据庞大,数值产品,需求梳理及行业发展趋势,01,气象行业解决方案,02,案例分析,04,目录,1,构建基于CIMISS的国省两级气象云应用体系-整,体架构,异地灾备中心,公众服务,国家级相关部门,国家气象云主中心,应用2,应用3,应用1,天气预报减灾服务,气象观测,卫星遥感,科研计算,数值预报,同城双活中心,公众服务,省市县相关部门,公众服务,省市县相关部门,公众服务,省市县相关部门,应用2,气象公有云,应用1,应用3,省级分中心,省级分中心,省级分中心,国家气象云建设1个主中心（含北京局）+1个同城灾备中心+1个异地灾备中心+30个省级分中心标准体系建设技术架构安全标准数据标准服务标准,国家气象云参考部署架构,气象云计算平台网络拓扑架构,气象有公共服务资源池,气象有私有云资源池,气象云内外网数据安全传输,1717,气象云部署架构,气象公有云部署和设想,从客户角度出发，为了保证技术的透明性和可持有性，理解气象公有云建设是运行在互联网上的气象云建设，而不是纯粹由互联网厂商运行的黑匣子。

根据公有云部署应用的情况分析可以考虑数据库的云化；气象局可以考虑采购服务的模式，避免自建，按需计费；物理部署位置选择：

最近的城市云中心（无锡、南京等），或者上海超算中心云化资源池。

1919,气象公有云部署和设想,1、应用拆分2、应用,3、数据库U2L,4、数据上云,CMISS平台,CMISS平台按照不同阶段处理流程划分数据收发系统（CTS）：

包括数据收集、收集处理、,分发处理、数据补调等,加工处理系统（DPC）：

数据解码系统、质量控制,系统、产品生产系统等,存储管理系统（SOD）：

结构管理、元数据管理、,数据处理、数据清除等,共享服务系统：

检索查询、,数据统计分析、可视化等,平台分类,数据收发系统（CTS）,系统构成数据收集,环境特征虚拟机,虚拟机,虚拟机多核虚,拟机大内存虚拟机虚拟机虚拟机,加工处理系统,存储管理系统（SOD）,收集处理,分发处理数据分发数据补调系统交互监所管理数据解码,（DPC）,质量控制高IO产品生产,虚拟机,结构管理数入据库处存理储数据清除,虚拟机,共享服务系统（GDS）,虚拟机,虚拟机,检索系统,数据获取数据可视化,大内存虚拟机,数据分发及统计虚拟机,数据物理分散转变为物理集中,分散存储转变统一云存储；,集中资源，降低未来容灾难度,原始数据库,CIMISS平台与云平台的关系分析,大数据平,台,信息资源数据库20,统一大数据平台平台,HADOOPSPARKSTORMMPPDB,DB1,DB2,DB1,DB2,HA/CLUSTER,X86服务器,HA/CLOUSTER,小型机,网络加速IB网络：

心跳、业务网万兆网络：

业务网IO加速:

PCIE-SSD内存数据库加速：

开启Oracle12c内存数据库功能,气象基础设施资源池技术架构,全球最先进的虚拟化技术大根型正云苗计红算的中国心产运品维经牌验,主要优势,特定行业云解决方案,完善云计算管理平台支撑应用,云计算基础设施,运维管理系统,Web/网站/数据库,MIS系统,中高端X86服务器,虚拟化弹性计算资源池,核心数据库,其他数据库,高性能X86服务器,数据采集系统,数据预处理系统,数据分析系统,通用低端服务器,大数据计算分析资源池,弹性计算计算资源池,数据库资源池,基于不同分区的计算资源池架构,通用型服务器,计算/IO服务器,计算存储型服务器,混合型服务器,网络型服务器,分布式云计算平台使用x86架构的服务器搭建大规模集,群，通过软件可伸缩性的优,势弥补硬件差错，提高云计,算平台的可用性、可靠性和,安全性。

整体建设原则：

采购高端新,设备、整合可用老设备、淘,汰落后差设备；,FC-SAN,SAN/NASPool,分布式存储资源池,模式计算存储资源池,存储服务,高性能模式数据存储服务,分布式数据库服务,核心数据库存储,超融合的云,存储系统,支撑融合的信息化存储资源,关系型数据库服务,多媒体,其它,云平台存储管理,核心数据库存储：

主要支撑气,象核心生产系统数据库，例如,CIMISS、MICAPS结构化数据等等；,超融合云存储系统：

主要支撑数据中心虚拟机、数值产品数据、CIMISS、MICAPS等非结构化的,文件数据，大数量多媒体文件存储；,融合的存储资源池架构,云计算平台以分布式存储集群为主，同时以NAS、SAN等传统存储技术作为补充。

采用两套存储架构支撑气象云数据中心存储平台,Hypervisor,网络,CloudView,中间件,应用,新资源,存储,动力环境,服务器,对动态数据中心资源集中监管，并提供多视角的可视化展现。

自主可控云操作系统云环境监控总览,虚拟化,XenServer,数据库（DB2、MySQL、Oracle、应Sq用lServer）应用服务器（Tomcat、WebSphere、Weblogic、JBoss）消息中间件（ActiveMQ）,气象行业第三方应用,插件开发支持新类型资源监控,KVM,CloudView,Adaptor,vSphere,Adaptor,XenServer,Adaptor,Hyper-V,Adaptor,存储管理,丰富完善的管理功能,模板管理,灵活易扩展的架构,网络管理,资源自动探查生命周期管理,支持多种虚拟化平台,多虚拟化环境管理,AdaptorCloudVirtual,服务器设备监控,Linux,Windows,Solaris,AIX,HPUnix,监控代理,监控代理,监控代理,Agent,SNMP,IPMI,全面支持各类操作系统,支持多种采集协议，适应不同场景监控指标丰富，可灵活设置显示与否,CloudView,网络设备监控及拓扑展现,支持SNMPV1、V2、,V3,支持设备自带MIB库上传,网络拓扑手动设置,拓扑自动发现及故障预警,自动接收Syslog、SNMPTrap等告,基于ICMP（ping）、路由ARP以及SNMP协议的网络自动发现,警方式,Request,监,Response,CloudManager,自动发现网络及拓扑展现,Syslog,管设备,Trap,支持手动设置和修改网,络拓扑,基于SNMP（MIB）协议的网络设备监控,支持多种网络设备监控,数据中心资源,网络设备监控,数据库资源监控,JDBC,数据库,Log日志,表空间,资源消耗分析,数据库文,运行指标件,事务,连接数,配置信息,支持国内国外多种数据库,灵活扩展支持扩展,指标丰富，契合业务深度监控支持灵活的指标和日志级告警,中间件资源监控,支撑各厂商的业务应用中间件监控，提供实时的业务应用性能指标信息。

轻量级、无侵入：

通过JMX、SNMP等方式进行监控，无需安装部署Agent代理程序。

丰富的指标采集：

查看中间件在一段时间内的各项指标监控，了解业务系统健康状态。

精确的实时预警：

通过对关心的性能指标进行策略预警，及时获得性能瓶颈。

实及,监控JVM内存使用率,优化中间件配置，提升,连接池现数据库连接池状态监控时了解业务处理状态,性能,日志支持中间件错误log日志监控根据关键字进行日志错误告警,缓存实现中间件缓存监控提升中间件访问性能,线程池查看中间件繁忙线程数优化中间件参数配置,WebSphere,WebLogic,Tomcat,JBoss,TongWeb,集群,集群,监控与管理,出入外网管理数据审查,Cloudview,身份认证,CloudFirm系统日志记录,信息告警,CloudManager,三级安全等保审查,CA证书,CloudGaurd的价值出入外网数据审查CA证书身份认证系统日志记录.,交换机业务数据,多级云安全管理,应用拓扑视图,根据业务关系模型，展现业务与IT资源之间的关联关系，并进行集中监控，聚焦业务，提升IT服务质量。

应用及运行环境的快速交付,虚拟化层,操作系统层,中间件层,应用层,vApp,vApp,TomcatWeblogic,MySQL,WebSphere,Linux,Apache,Windows,VMware,配置部署工具,软件堆栈,les,软件用户,软件部署人员,Xen,KVM,应用一键式部署，版本自动升级回退，提升业务的部署和更新速度,自动化弹性与动态调配,VM,MySQL,AmebaVM,VM,MySQL,VM,MySQL,VM,MySQL,VM,War,VM,War,VM,War,VM,Tomcat,War,负载均衡VM,DNS,vSwitch,vSwitch,+/-,+/-,PerVM,vSwitch,BW100MbpsLatency100ms,vNetwork2,BW1GbpsLatency100msPerVM,CPU2Corex3GHzRAM4GBStorage20GBvNetwork3BW10GbpsLatency5ms,Requests,vNetwork0BW10MbpsLatency200ms,负载均衡,vNetw