海洋领域高性能计算的应用分析.docx
《海洋领域高性能计算的应用分析.docx》由会员分享，可在线阅读，更多相关《海洋领域高性能计算的应用分析.docx（12页珍藏版）》请在冰豆网上搜索。
海洋领域高性能计算的应用分析
海洋领域高性能计算的应用分析
目录
1.1高性能计算的发展现状3
1.1.1高性能计算概述3
1.1.2高性能计算的应用需求3
1.1.3国外高性能计算发展现状4
1.1.4国内高性能计算发展现状5
1.1.5高性能计算机关键技术发展现状7
1.2海洋领域中高性能计算的应用13
1.2.1应用行业介绍13
1.2.2常用软件13
1.2.3海洋数值预报领域应用软件特点14
1.1高性能计算的发展现状
1.1.1高性能计算概述
高性能计算（HighPerformanceComputing，简称HPC）是计算机科学的一个分支，研究并行算法和开发相关软件，致力于开发高性能计算机（HighPerformanceComputer），满足科学计算、工程计算、海量数据处理等需要。
自从1946年设计用于导弹弹道计算的世界上第一台现代计算机诞生开始，计算技术应用领域不断扩大，各应用领域对计算机的处理能力需求越来越高，这也促使了高性能计算机和高性能计算技术不断向前发展。
随着信息化社会的飞速发展，人类对信息处理能力的要求越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机，而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求也迅猛增长。
1.1.2高性能计算的应用需求
应用需求是高性能计算技术发展的根本动力。
传统的高性能计算应用领域包括：
量子化学、分子模拟、气象预报、天气研究、油气勘探、流体力学、结构力学、核反应等。
随着经济发展和社会进步，科学研究、经济建设、国防安全等领域对高性能计算设施及环境提出了越来越高的需求，不仅高性能计算的应用需求急剧增大，而且应用范围从传统领域不断扩大到资源环境、航空航天、新材料、新能源、医疗卫生、金融、互联网、文化产业等经济和社会发展的众多领域。
当前，世界和中国面临诸多重大挑战性问题。
比如，全球气候出现快速增温的事实使“应对气候变化”成为各国政治、经济和社会发展的重大课题，为了进一步消减“温室效应”和减少碳排放，实现可持续发展的低碳经济，新材料的发现、设计与应用迫在眉睫；随着化石能源的日益枯竭和环境的日趋恶化，新能源的开发势在必行；随着科技的发展，人类迈向太空的脚步逐渐加快，空间资源的争夺和战略性部署竟然愈发激烈，航空航天领域作为此项重大科研技术活动的基础支撑，投入将持续扩大；为了攻克重大疾病、进一步提高人口健康质量，生命科学与新药制造已成为技术发展和经济投入的重要增长点；随着互联网技术不断发展，借助海量数据与高性能计算的力量使得人工智能研究不断取得新的突破，各大互联网企业对高性能计算的投入将持续增加；在国际竞争的大环境下，基础科研实力是高新技术发展的重要源泉，是未来科学和技术发展的内在动力，也是实现国家经济、社会和环境可持续性发展的重要途径，基础科学研究的投入也将持续增长。
解决上述关系国家战略和国计民生的重大挑战性问题都离不开高性能计算的强力支撑，可以预见在战略层面，各国对高性能计算的投入会持续增长，而中国将更加发力；在技术层面上，高性能计算的应用范围将越来越广，反过来应用需求也将催生高性能计算新技术的诞生与发展。
图：
全球HPCTOP500统计数据显示高性能计算能力成倍增长
1.1.3国外高性能计算发展现状
高性能计算作为国家实力的重要体现，是一个国家最尖端的信息技术综合体。
发达国家政府（美日欧）普遍将高性能计算作为国家战略，给予高度重视并进行持续投入。
美国是世界上最重视高性能计算、投入最多、受益最大的国家。
近数十年来，美国政府持续实施了SCP（战略计算机计划）、HPCC（高性能计算和通信）、ASCI（加速战略计算）、ASC（先进模拟和计算）、HPCS（高生产率计算机）等多个国家计划，从而确保了美国在高性能计算领域长期处于领先地位。
2015年7月，美国政府提出了建立“国家战略计算项目”（NSCI），目的是创建美国高性能计算的研发地位，研制世界上第一台百亿亿次计算系统，此举的目标就是夺回2013年以来被中国夺走的计算速度头名的宝座。
2015年6月统计的全球性能最高的500台高性能计算机有233台安装在美国，其中性能最高的10台计算机中有5台部署于美国。
美国在高性能计算领域的领先优势十分明显，为美国在科技创新和经济发展方面处于世界领先地位做出了重大贡献。
当前，美国政府仍在继续加强其在高性能计算领域的研发投入。
正在实施的UHPC（普适高性能计算）计划，目标是研究革命性的设计方法来满足不断增长的国防应用对高性能计算的需求，包括开发超高并发性的高性能计算机、有效提升系统能效比、简化并行应用设计方法和提升应用的容错能力等，为实现百亿亿次（ExaFlops）计算奠定基础。
日本一直以来位列高性能计算大国，与美国类似，日本政府非常重视高性能计算技术，不断加强其在高性能计算领域的研发投入。
早在1990年，日本NEC公司研制的SX-3/44R系统就成为当时全球速度最快的高性能计算机。
之后的1993年，Fujitsu公司开发的“数值风洞”系统，以及2004年NEC的“地球模拟器”再次位列全球第一。
在2015年6月统计的全球TOP500高性能计算机中，日本占据40席，其中Fujitsu公司研制的“K计算机”位列世界第四，“K计算机”将落户日本理化学研究所（RIKEN），服务于物理、化学、生物、医学、材料、能源等领域科学研究。
此外，日本正在进行ExascaleSupercomputerProject（E级高性能计算）项目，该项目目标是建设E级的高性能计算与软件系统的来替换现有的“K计算机”，该系统将服务于未来日本科学技术研究如药物设计、地震影响研究等。
欧洲也一直是高性能计算的活跃区域。
2002年，7个欧洲国家的11个高性能计算中心就联合发起DEISA项目，旨在建立泛欧洲的高性能计算基础设施。
在2015年6月统计的全球TOP500高性能计算机中，欧洲占据了28%的席位。
面向百亿亿次（ExaFlops）计算需求，欧洲提出了EESI和MareIncognito超算计划，主要从并行编程模型和和应用算法方面突破百亿亿次级计算的关键技术，包括编程模型、负载均衡技术、微处理器/结点技术、性能分析工具、互连技术和高性能应用等。
1.1.4国内高性能计算发展现状
“九五”以来，在国家及相关政府的持续支持和IT企业的积极参与下，我国高性能计算机有了长足的发展，研制队伍不断发展和壮大，主要的研制单位有：
国家并行计算机工程技术研究中心、中科院计算技术研究所国家智能中心、国防科技大学计算机学院、曙光公司等，是数十年积聚起来的我国高性能计算机技术研发的中坚力量。
“十一五”期间，在国家863计划“高效能计算机及网格服务环境”重大项目的支持下，我国先后研制成功若干台百万亿次和千万亿次超级计算机系统。
2008年，联想公司和曙光公司分别研制成功“深腾7000”和“曙光5000”百万亿次计算机；2009年，国防科技大学研制成功“天河一号”千万亿次计算机，使我国成为继美国之后世界上第二个研制成功千万亿次计算机的国家；2010年6月，曙光公司研制成功“星云”千万亿次计算机，性能列世界TOP500第二位。
2010年11月，升级后的“天河-1A”系统创造了超级计算机全球排名第一的最好成绩。
基于自主CPU芯片研制超级计算机也取得了重大突破，神威蓝光于2010年底成为第一个全部采用国产CPU实现的千万亿次超级计算机。
进入“十二五”以来，我国的超级计算机研制继续发展，天河2号连续四次位居TOP500第一名。
预计到“十二五”末，我国还将推出2套峰值性能超过10亿亿次（100PFLOPS）的超级计算机系统，有望继续在TOP500排行榜中名列前茅。
在2013年国务院发布的《国家重大科技基础设施建设中长期规划（2012-2030年）》中，多个基础设施的建设都离不开高性能计算系统如海底科学观测网、转化医学研究设施。
其中，地球系统数值模拟器通过超级计算及存储专用系统的建设，并结合超级模拟支撑与管理软件系统、地球各层圈过程模拟软件系统等来实现模拟地球系统圈层变化和长期气候变化，精细描述和预测地球物理化学及生物过程，提高我国地球系统模拟的整体能力和重大自然灾害预测预警、气候变化预估的研究水平。
图：
TOP500系统国家分布历史统计
我国在高性能计算机系统相关的基础性支撑技术方面也有了很大进步。
在处理器方面，国内自主研制的“龙芯”、“神威”、“飞腾”等系列的多核处理器方面已有所突破，相关的生态环境正在逐步完善；在异构协同与并行优化方面，国内在CPU/GPU混合结构的应用研究，比如生命科学领域的基因比对、分子动力学、电镜数据处理石油勘探领域的电子断层三维重构、叠前时间偏移、深度学习等方面均取得突破。
在系统软件及环境方面，国内在大规模异构系统的管理和监控、大规模系统的快速部署以及高效系统虚拟化等关键技术上也取得了很大进展。
“十一五”期间，在国家863计划“高效能计算机及网格服务环境”重大项目的支持下，成功开发具有自主知识产权的中国国家网格软件GOS（GridOperatingSystem），突破了广域资源共享和协同工作的关键技术，其功能和性能已达到并超越国际同类软件水平。
此外，863计划还先后重点支持了化学、天文、气象、生物医药、流体、激光聚变、大飞机、石油勘探地震成像等领域的高性能计算应用，形成了若干可利用上千以上的处理器核进行计算模拟的应用实例。
1.1.5高性能计算机关键技术发展现状
1.1.5.1体系架构
作为高性能计算基础设施的核心，现代高性能计算机的发展从20世纪70年代的向量计算机开始，也已经有了几十年的发展历程。
先后出现了向量机、多处理器并行向量机、MPP大规模并行处理机、SMP对称多处理机、DSM分布式共享存储计算机、Constellation星群系统、Cluster集群系统、混和系统等多种主体的体系架构，并分别在不同的时期占据着应用的主流。
其中，计算机集群（简称集群、Cluster）是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。
在某种意义上，他们可以被看作是一台计算机。
集群系统中的单个计算机通常称为节点，通过内部网络连接。
高性能计算集群采用将计算任务分配到集群的不同计算节点而提高计算能力。
比较流行的高性能计算集群采用Linux操作系统和其它一些标准软件来完成并行运算，这一集群配置通常被称为Beowulf集群。
这类集群通常运行特定的程序以发挥高性能计算集群的并行能力，这类程序一般使用特定的运行库，比如MPI等。
相比于MPP等一些专有高性能计算系统，集群系统具有明显的优势，包括：
◆集群的标准化程度高
高性能计算集群一般都是采用工业标准的硬件和软件系统，比如采用标准的x86架构处理器；工业标准的互联网络，比如InfiniBand、万兆网络等；通用的Linux操作系统；通用的并行编程标准和模型；通用的作业分发调度系统等。
◆灵活性、可扩展性好
集群是一个松散的架构，由计算节点通过互联网络连接而成，一个集群可以方便地进行扩展；同样的，一个集群也可以灵活的进行物理或逻辑上的拆分。
MPP等一些专有定制系统就很难做到这样的灵活可扩展性。
◆性能高
集群单个计算节点性能在不断提升、集群互联网络技术发展迅猛、集群可扩展性也越来越好、集群的并行编程技术不断进步，集群已经成为高性能计算的代名词。
◆性价比高
由于集群采用的是标准化的软硬件系统，采用的是大规模工业生产的设备部件，可以极大程度降低高性能计算系统的建设成本，相应的，集群的运维和维护成本也要小很多。
◆投资风险小
集群技术经过多年的发展，其硬件和软件技术已经发展得非常成熟，建设和维护需要的设备器件有充足的市场保障；绝大部分高性能计算应用在集群架构上开发和调试，应用支持程度高，可以确保高性能计算平台的建设成功。
正是因为具有的这些优势，集群在高性能计算领域发展迅猛，目前已经成为高性能计算的主流架构。
从2012年起，TOP500榜单中关于体系架构就只剩下Cluster和MPP两位角色，其中Cluster一直占据超过80％的装机份额，在中小规模高性能计算系统中更是占统治地位。
图：
TOP500中体系架构份额历史统计
1.1.5.2处理器
处理器是高性能计算机的核心，很大程度上决定了高性能计算机的计算性能。
随着x86处理器在PC消费级市场的繁荣，其触角逐渐延伸到高性能计算领域。
另一方面，随着开放式集群架构在高性能计算领域的统治地位确立，市场占有率大、性价比高的x86处理器也成为自然合理的选择。
自2000年开始，Intel和AMD的x86处理器在高性能计算市场占有率迅速扩大，逐渐蚕食掉了Alpha、MIPS、Power、SPARC、PA-RISC等RISC处理器的市场。
2015年6月发布的TOP500榜单中，共有427台系统（占比85.4％）采用Intel处理器，其中仅IntelXeon处理器E5家族就贡献了80％，令其他厂商望尘莫及。
IBMPower处理器的份额稳定在35台，占比7％；AMDOpteron家族的占有量是20台（占比4％）。
从处理器多核角度来看，目前有96％的系统采用6核及以上核心，85％的系统采用8核及以上核心，39％的系统采用10核及以上核心。
从趋势来看，虽然8核仍是HPC系统的主流配置但应用逐步收窄，而10核和12核处理器的市场份额将会进一步扩大。
图：
TOP500中处理器份额历史统计
此外，随着GPU、IntelMIC、FPGA等加速器/协处理器的出现，CPU不再是高性能计算领域计算单元的唯一选择。
相比于CPU，这些协处理器的浮点运算能力更强、任务处理模式更简单，非常适合部分高性能计算应用。
使用协处理器可以大大提升高性能计算机的计算性能，分担CPU的处理负载。
全球HPCTOP500中协处理器的使用越来越多，其中包括2015年6月连续四次蝉联TOP500第一的天河二号，2012年11月TOP500全球第一的Titan，2010年11月全球第一的天河-1A，以及2010年6月全球第二的曙光星云系统。
在协处理器的市场份额中，NvidiaGPU占据主导，AMDATIGPU也有一定市场，IntelMIC（XeonPhi）增长迅速，以PEZY-SC为代表的其它类型协处理器在高性能计算中崭露头角。
另外，以FPGA为代表的可定制化的SOC具有浮点计算能力强、整体功耗低的特点，未来会快速增长。
图：
TOP500中使用协处理器的系统越来越多
1.1.5.3并行编程模型
现代高性能计算机都是并行计算机，通过并行计算，降低单个任务的计算时间、提高任务的求解精度、或者扩大问题的处理规模，这些都是高性能计算机的根本目标，也是高性能计算技术发展的驱动力。
高性能计算机上的并行编程模型与计算机体系架构紧密相关。
当前主流的并行编程模型与主流的高性能计算集群架构相匹配。
从进程或线程的交互方式角度划分，并行编程模型主要有共享内存编程模型（ShareMemory）和消息传递编程模型（MessagePassing）。
共享内存编程模型一般应用在共享内存体系结构上，比如SMP、DSM、NUMA。
它具有单地址空间，线程级并行，主要实现有OpenMP和Pthreads。
共享内存编程模型具有并行效率高、编程容易（特别是采用编译制导的OpenMP模型）等优点，但它的可移植性和可扩展性不好。
当前高性能计算集群架构的计算节点通常都是采用多路多核架构，计算节点本身为SMP或NUMA结构。
因此，共享内存编程模型可以在单个集群计算节点内实现并行计算。
消息传递编程模型是分布式内存编程模型的一种，主要应用在分布式内存体系结构下，以早期的PVM（ParallelVirtualMachine）和目前主流的MPI（MessagePassingInterface）为代表。
传递编程模型的特点是多地址空间、进程级并行、编程相对困难、可移植性好、可扩展性好。
可以广泛应用在高性能集群体系架构上，可以实现集群跨节点并行计算。
当前高性能集群的多层次结构，使得集群系统同时具备了共享内存和分布式共享内存两种体系结构的特点。
根据现代集群多级并行结构的特点，很自然地考虑到可以将共享内存编程模型与分布式内存编程模型相结合。
因此，MPI+OpenMP的混合编程模型得到了广泛的应用。
混合编程模型提供了节点间和节点内的两级并行机制，它的优势在于结合了进程级的粗粒度并行（例如区域分解）和线程级的细粒度并行（如循环并行）的优点。
实践证明，在很多情况下，其执行效率和可扩展性高于纯MPI和OpenMP程序。
1.1.5.4互联网络
高性能计算集群是一个通过内部互联网络将松散的计算节点有效整合起来的系统架构，内部互联网络是高性能计算集群的核心技术之一。
集群系统内部互联网络主要用于以MPI为代表的并行计算程序节点间的数据网络通信，即作为计算网络使用。
不同计算方法和计算程序的数据通信特征不尽相同，从类型看，有的数据交换以小数据包为主，有的大数据包交换较多。
小数据包交换较多时，计算性能和效率对计算网络的延迟非常敏感，大数据包交换较多时，计算网络的带宽有关键性影响；从数据通信的频率看，有的计算方法和程序数据通信不频繁，对计算网络的性能要求不高，有的数据通信密集，对计算网络的性能要求很高。
总的来说，高性能计算机计算网络的性能对并行计算程序的并行加速比和并行扩展性有重要的影响。
计算网络需要有高带宽、低延迟的特点。
与MPP等体系架构一般使用高度定制化的私有内部网络不同，高性能计算集群系统一般采用标准通用的网络技术和设备，比如以太网络、Quadrics、Myrinet、InfiniBand。
其中，千兆/万兆以太网络技术发展成熟、通用性好，目前仍占有一部分市场份额；Quadrics和Myrinet在与InfiniBand的竞争中败下阵来，目前已基本在市场上消失，而InfiniBand已经成为通用高速网络的代名词，在高性能计算领域的市场份额逐年扩大，已经成为市场主流，特别是在大型、高端计算系统，InfiniBand几乎成为标配。
2015年6月发布的TOP500榜单中，就系统内部互联网络而言，InfiniBand技术已被TOP500中的249台系统所采用（占比49.8％），是TOP500中使用最广的内部网络互联技术。
图：
TOP500中互联网络份额历史统计
1.1.5.5操作系统
早期高性能计算机硬件体系架构主要以MPP等封闭系统为主，操作系统一般为配套专用的Unix操作系统。
随着开放标准的集群架构逐渐兴起，以及同样开放的Linux操作系统逐渐成熟，Linux操作系统被逐渐成为高性能计算机的主流。
Linux的操作系统的稳定、安全、可靠、高效率、多用户、开源等特征，尤其其多用户的特征，非常适合高性能计算机的使用模式。
2015年6月发布的TOP500榜单中，各种Linux操作系统装载在多达472台HPC系统上，占比高达94.4％，走向没落的Unix此次仍顽强地维持着2％的份额。
图：
TOP500中操作系统份额历史统计
1.2海洋领域中高性能计算的应用
1.2.1应用行业介绍
“十二五”期间是我国经济和社会发展的关键时期,国家安全、经济建设、社会发展以及人民生活水平的提高都将对海洋及相关行业业务提出更高、更盛的需求，因而也是海洋业务大发展的重要时期。
海洋业务，主要包括海洋大风、海雾等预报技术，海浪、风暴潮数值预报业务以及各级台站的海洋气象预警服务等。
海洋领域的高性能计算机，主要用于完成基于数值模式计算的业务预报和资料处理等工作。
海洋数值模式是采用数值方法求解复杂的偏微分方程组，以对海洋物理过程的发展和演变进行模拟和预报。
在海洋行业中，高性能计算主要通过数值模式对海洋领域的天气、洋流、海浪和潮汐等进行数值预报、模拟和研究，从而指导监测海洋工作和海洋资源开发。
相关单位包括：
Ø部分沿海省市的海洋预报；
Ø海浪、潮汐研究及资源开发（海洋局：
青岛，上海，广州；海洋所：
青岛，杭州，厦门）
Ø国家海洋局下属的业务职能部门（国家海洋环境预报中心、国家海洋信息中心、海洋减灾中心等）
Ø科研院所（中科院海洋所，中科院南海所，中国海洋大学，上海海洋大学等）
Ø海洋污染监测机构、水利交通运输所等
1.2.2常用软件
海洋领域模式众多，且大多为开源代码。
比较常见的应用软件包括：
ØFVCOM、ROMS、HYCOM、WaveWatch3、SWAN、ECOMSED、ECOM、POP、POM、MOM4、MITgcm、NEMO等。
FVCOM：
美国佐治亚海洋学院实验室和麻省大学海洋实验室开发的海洋数值预报模式，研究近海岸线常用模式，开放源代码。
ROMS：
较为通用的海洋模式系统，广泛应用于各种尺度海洋运动（大至全球尺度环流，小至河川渠道水体运动及海洋生物，地质和海冰研究），开源方式发布。
HYCOM：
美国迈阿密大学开发的原始方程全球海洋环流模式，包含广泛海气要素，适应于层次效应显著的大洋范围，开放源代码。
SWAN：
由荷兰Delft理工大学Holthuijsen和Booij等人总结历年来波浪能量输入、损耗、及转换的研究成果提出并发展起来的，适用于海岸湖泊及河口地区浅水海浪的数值预报。
美国NOAA／NCEP海洋模拟小组在WAM以及前人研究的基础上，新开发的一个全谱空间的第三代海浪数值模式。
1.2.3海洋数值预报领域应用软件特点
数值预报是海洋预报部门开展各类预报业务重要的手段之一，其核心应用是海洋数值模式。
下面从计算能力、存储能力、网络系统以及业务支持和系统集成能力四个方面来对其进行分析。
1.2.3.1计算能力
海洋模式一般都有非常大的计算量，而且需要在规定的时限内完成计算。
预报精度提高一倍，其所需计算量将成几何级上涨，需要在高性能计算机上才能完成所需的计算。
目前绝大部分海洋数值模式都支持并行化。
1.2.3.2存储能力
由于数值模拟过程中需要输出计算结果用来分析，海洋数值模式对整个系统的IO性能要求很高，对于采用多种预报方案的集合预报和短临预报（RUC）系统，在较短时间内会产生大量的数据，要求持续的IO存储带宽，一般要求有分布式IO或者并行文件系统，否则一般很难有好的加速比。
1.2.3.3网络系统
由于主流海洋模式都支持并行，而且一般都采用有限差分格点模式并行计算，所以各个CPU之间的通讯量非常惊人，且通讯的性能要求非常高。
对于允许嵌套的模式，又有各个域内部不同数据划分之间的通讯。
所以这就要求高性能计算机有高性能的通讯网络，在海洋及相关领域，Infiniband网络是必备，否则扩展性只在1-2个节点。
1.2.3.4业务组成成及其特点
系统组成
海洋领域的数值模式，总的流程主要三部分：
前处理，主模式计算，后处理。
其中：
前处理部分：
主要是将从网上下载背景场和边界场数据插值到所要预报的区域范围中，资料同化也包含在这部分内，同化主要是将雷达、自动观测站、卫星检测的数据加入到系统数据中。
这部分对系统计算量要求不高，主要是处理数据，对系统内存有一定的要求，在做同化时对内存有稍高的要求。
一般在单节点内运行，扩展性无较高要求，同化是预报系统的难点，一般该部分只能由海洋领域专业专业人员负责实施。
主模式计算是系统并行计算的主要部分，该部分对系统计算性能要求最高，高主频处理器具备明显优势，该部分的扩展性取决于预报区域的网格大小、预报分辨率、嵌套层次，一般较大地区可支持200core以上，较小地区支持100core以上。
跨节点时必须要求是Infiniband网络，按输入配置文件的数据输出需求，对IO也有一定的要求，且在将来会对IO有更高的要求。
在后处理部分，主要是对主模式计算的数值结果进行转换和提取，主要工作是分析数据，将结果转成海洋预报人
升级会员 