高性能计算综述.docx

1、高性能计算综述高性能计算综述*摘要：高性能计算简称HPC(High Performance Computing)，是计算机科学的一个分支，特指当今具有超强计算能力的一类计算机。它致力于开发高性能计算机，主要采用模拟方法，解算当今超大、超高、超复杂的计算任务，研究并行算法及开发相关软件。高性能计算已被公认为继理论科学和实验科学之后，人类认识世界改造世界的第三大科学研究方法。本文就这一领域技术的地位作用、优势、现状与发展、分类、技术难点和研究方向、应用、发展展望等问题作一概要介绍。关键词：超级计算；高性能计算；高效能计算；大规模并行处理 1 引言高性能计算( High Performance Co

2、mputing，HPC)是计算机科学的1个分支，主要指从体系结构、并行算法和软件开发等多个方面研究开发高性能计算机的技术。高性能计算本身并没有确切定义，它是指通过一定途径，获得比当前主流计算机更高性能的计算能力的技术。 高性能计算已被公认为继理论科学和实验科学之后，人类认识世界、改造世界的第三大科学研究方法，是科技创新的重要手段。在当前社会情况下，高性能计算已经成为一个国家综合实力的体现，对国家战略的发展有着重要影响。目前，高性能计算技术已经广泛应用于航空航天、汽车制造、核试验模拟、军事情报搜集处理、天气预报等多方面。通过高性能计算，人们可以完成很多目前计算机无法完成的实验，既可以免除真实实验

3、的巨大费用，又不会对环境造成任何的影响。 通常来讲，高性能计算有2种表现方式：提升单机的计算能力；通过网络连接多台计算机，进而提升计算能力。第一种方式多是指提升CPU的处理能力，而随着CPU主频的提高受制于制作工艺，CPU的发展方向已经由单核向多核发展。事实证明，很多情况下CPU 过多的核心反而会降低CPU的处理能力。近几年出现的GPGPU技术已经成为提升单机处理能力的主要技术。第2种方式是通过整合多台网络计算机而提升计算能力，因此性价比较 高，已经逐渐成为主流方式。2 高性能计算的地位作用美国在计算机与信息技术领域，一直处世界霸主地位。高性能计算机与高性能计算技术被认为是美国国家的制高点技术

4、，历届政府都高度重视，重点发展。克林顿总统时代，大力推进HPCC（High Performance Computing & Communications）计划，大力研制一代代新机器， 建设许多超级计算中心，利用高性能计算机解决许多科技方面的“大挑战问题”，推动众多科学和技术领域的大发展。HPCC计划还把因特网（Internet）公开民用，推向全球，推动了信 息化时代的到来。布什总统时代，虽然重点是反恐，但对高性能计算的发展丝毫没有放松。2005年总统IT顾问委员会的专题咨询报告，再次提出“HPC是国家核心竞争力，要大力发展”。奥巴马总统执政以来，经济问题、医改问题一直是当务之急，但也没有放松H

5、PC发展。2011年1月25日总统国情咨文报告中，再提到中国拥有了世界上最快的计算机，美国决不能松劲。 科学技术发展历来依靠“理论、试验”，而今天“计算”已是第三手段，而且是越来越 重要的手段。许多科技领域的发展已离不开“计算”，许多学科已与计算相互复合。在国家科技、国防、产业、金融、服务、生活等方面都占有不可或缺的重要地位。譬如：核物理、核能、核动力、核安全技术；空气动力学（航天、航空、航海、高速运载器）；大气、 海洋与空间（天气与灾害预报，全球变暖）；能源（油气勘探与开采，新能源）；生命科学、生物工程、新药研制；新材料；高新制造（汽车、微电子）；信息与社会安全（密码学、监控）；数据中心与服

6、务中心等等。 中国自1958年开始自主研制计算机，并用于解决中国国内的各种需求，成绩卓著。1983年国防科技大学研制成功中国第一台HPC机银河亿次计算机YH，使中国成为 继美、日后国际上少数能自主研制HPC机的国家之一。2010年月国防科技大学为“ 国家超级计算天津中心”研制成功的天河机TH1A，其计算速度在当年11月国际TOP500排名中,列世界第一,为国家赢得荣誉,为中国HPC发展与应用作出了新贡献。 全球HPC机的研制，美国占绝对优势，全球最快500台计算机中，美国研制的占以上。其次是日本和中国，欧洲研制的极少。但世界各国都高度重视能力的建设与应用，2011年月底世界最高性能,500台计

7、算机的装备使用情况如下： 美国：256台，世界绝对第一；中国：62台，世界第二；欧洲：125台，其中，德国30台，英国27台，法国25台；亚洲:103台，其中除中国62台外，日本26台，其他国家拥有很少。 2011年6月底世界最快的10台机器（运算速度均达每秒1000万亿次以上），美国拥有5台，中国和日本各台，法国台。高性能计算机的发展水平已经成为衡量一个国家高新科技水平和综合实力的重要标志。高性能计算机可以对所研究的对象进行数值模拟和动态显示，从而获得实验很难甚至无法得到的结果。它相对于理论科学和实验科学，有其独特的优越性。首先，高性能计算既免除了真实实验的昂贵代价，而且不会对环境产生任何影

8、响，即所谓无损伤研究。第二，高性能计算可以实现全过程全时空的研究 ,获取研究对象发展变化的全部信息。第三，高性能计算可以低成本地反复进行，获得各种条件下全面系统的数据。事实证明，有了高性能计算不再需要进行核试验，有了高性能计算可以预测海啸和地震的危害，有了高性能计算可以通晓人类大脑的奥秘和生命的密码。在我国为满足国民经济发展的需要，高性能计算的需求正在迅速增长。无论是国家安全、石油气象等主要领域，还是以生物医药、微观结构研究为代表的新一代科技，都高度依赖高性能计算。它们的发展很大程度上取决于高性能计算的发展。尤其是基础科学领域，对计算的需求永无止境，而且越高性能的计算机越能产生高精度高时效的成

9、果。3 高性能计算的优势3.1 计算科学应用是高性能计算技术发展的源动力计算科学的兴起是 20世纪后半叶最重要的科技进步之一，大大丰富了当今世界的科学研究活动。高性能计算作为计算的高端，代表计算机发展的方向和应用的前沿，更加得到关注和重视。有关高性能计算的突破和发展都被视为科技的重大进步，随着技术的下移，对相关产业的发展有广泛的带动作用。回顾历史，任何时候研制的最高性能的计算机总是服务于当时的科学计算需求，主要研究领域包括新型材料、药物设计、气候模拟、核武器模拟、电磁学、工业产品、海量数据处理、国防和安全等，或者称是以科学计算为最初应用的靶子进行设计的，如日本地球模拟器系统与IBM蓝色基因系统

10、两个项目。而高性能计算机技术逐步向商用领域转移与转化，计算性能及与其相匹配的存储容量、互连网络带宽等指标成为高性能计算机设计者追求的持续关键指标。 我国早期的高性能计算机依赖于进口，极大地限制了应用，这也激发了我国自主研发高性能计算机的决心。随着自主研制的高性能计算机“神威”、“银河”、“曙光”等的发展，美国和日本对我国的限制也一步一步放宽，大型计算机的价格也在下跌。各种因素的综合促进了高性能计算的应用。近几年随着我国在高性能计算技术和应用方面的大力支持，我国各个领域的计算应用开始利用高性能计算工具，高校纷纷开设并行计算相关课程。随着社会信息化步伐的加快，高性能计算应用将快速发展。3.2 高性

11、能计算机研制推动应用的发展经过近半个世纪的发展，高性能计算机从最初的向量计算机，历经对称多处理机(SMP)、大规模并行处理机(MPP)，一直发展到机群系统( cluster )和星群系统(constellation )，实现了飞速发展。万亿(Tflops)、百万亿乃至千万亿(Pflops)次的高性能计算机将逐渐进入人们的视野。近两年，关于研制千万亿次高性能计算机的讨论日渐火热。美日两国更是在千万亿次高性能计算机的研制上进行了激烈的竞争，相继推出千万亿次机器的研制计划。例如日本 Riken 高性能计算中心和NEC针对生化领域的MDGRAPE-3，预计在2008年安装在美国能源部橡树岭国家实验室的

12、Cray Baker和IBM的蓝色基因P P计划等。目前预计千万亿次系统将在2009 2011年间集中涌现在我国，千万亿次高性能计算机的研制也提上了议事日程。根据十一五高性能计算机研发计划，我国将在2008年完成2台百万亿次高性能计算机系统的研发，并适时推出千万亿次高性能计算机。高性能计算机性能的提高必将推动应用的发展。在美国，高性能计算主要用于核武器研究、国家防御、国家安全、能源与环境、生物科学、地球科学、材料科学、天文学、药物设计、物理化学、电子器件及金融领域。日本的高性能计算主要为重大的科学探索和研究服务，如地球模拟器主要用于大气与海洋模拟、固体地球模拟、多尺度模拟等。欧盟国家投资高性能

13、计算主要鼓励生命科学、信息技术、纳米技术、天文和空间科学、食品质量和安全、可持续发展等项目。我国高性能计算以经济发展为目的，涉及气象数值模拟与预报、地震预报、生物信息、药物设计、环境科学、空间科学、材料科学、计算物理、计算化学、流体力学、地震三维成像、油藏数值模拟、天体星系模拟、金融、制造等众多领域。3.3 高性能计算应用促进科技创新和社会进步随着研究的深入和竞争的加剧，各领域越来越多地使用高性能计算技术来解决科研和生产中的实际问题。高性能计算应用的发展不但促进了科技创新，也促进了社会的进步。高性能计算应用发展水平逐渐成为衡量一个国家综合国力和国际竞争力的重要指标。国外的高性能计算应用已经具有

14、相当的规模，在各个领域都有比较成熟的应用实例。在物理、化学、生物等科学研究领域已广泛利用高性能计算手段，在其它领域也广泛被应用。例如在政府部门大量使用高性能计算机，能有效地提高政府对国民经、社会发展的宏观监控和引导能力，包括打击走私、增强税收、进行金融监控和风险预警、环境和资源的监控和分析等等。例如在能源领域，世界上石油公司通过高性能计算机处理石油勘探数据，为能源的发现提供了支撑。在工业产品设计领域，例如美国通用机械(GM)和通用电气(GE)等跨国集团用网络将全球各地设计中心的服务器和贵重设备连接成一个整体，以便于工程师和客户共同设计产品，设计时间可缩短100倍。对很多大型企业来说，采购成本是

15、总成本的重要组成部分，例如福特等集团用高性能计算机构造了一个网上集市，通过网络连到它的3万多个供货商。这种网上采购不仅能降低价格，减少采购费用，还能缩短采购时间。此外，制造、后勤运输、市场调查等领域也都是高性能计算机大显身手的领域。随着“网络计算”和“后PC时代”的到来，全世界将有数十亿的客户端设备，它们需要连到数百万台高性能服务器上。高性能计算机将越来越得到产业界的认同，成为重要的设计、生产和管理工具。 高性能计算应用在高性能计算技术的支持下为我国的科技创新作出了巨大贡献，并且和高性能计算技术在相辅相成中不断发展。近年来，我国对大规模科学计算和高性能计算都给予了极大的重视和投入。国家973计

16、划和863计划均有对高性能计算方面的大量投入，而且包括计算机界的许多学者认识到应用的重要性，特别是高性能计算的应用，给予了高度的关注。 在传统的高性能计算应用领域如国防安全，核爆模拟，石油勘探数据处理，天气预报，洋流研究等有更大的发展。在新的应用领域，如生物信息，基因，纳米材料，微电子，工业产品设计和制造等方面也有很快的发展。在信息处理领域，政府、金融、流通领域纷纷用高性能计算资源处理海量数据。高性能计算的应用得到各方面的关注和重视。高性能计算相对于理论科学和实验科学，有其独特的优越性。首先，高性能计算既免除了真实实验的昂贵代价，而且不会对环境产生任何影响，即所谓无损伤研究。第二 ，高性能计算

17、可以实现全过程全时空的研究，获取研究对象发展变化的全部信息。第三 ，高性能计算可以低成本地反复进行，获得各种条件下全面系统的数据。事实证明，有了高性能计算不再需要进行核试验，有了高性能计算可以预测海啸和地震的危害，有了高性能计算可以通晓人类大脑的奥秘和生命的密码。3.4 网格是高性能计算应用发展的新趋势21 世纪网络化是高性能计算应用最重要的趋势，网格(grid)已经成为高性能计算的一个新研究热点。用美国网格计算领导人Foster的话来说，网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通百姓提供更多的资源、功能和交互性，

18、让人们透明地使用计算、存储等其他资源。在网格方面美国大大领先于其他国家，美国当前对于网格研究的支持可与其70年代对 Internet研究的支持相比，10 年后可望普及到国民经济和社会发展的各个领域。TeraGrid是由美国国家科学基金会发起，由9个超算中心和国家实验室针对科学研究中出现的资源共享、合作研究等问题提出的。T eraGrid利用高性能网络，将分布在全国的高性能计算机、高端科学仪器、数据资源连接在一起，具有超过102Tflops的计算能力和15PB的存储能力。其他国际上比较知名的网格还有欧盟的EGEE、英国的 e -Science和环太平洋网格应用与中间件联盟PRAGMA等。 我国对

19、网格技术的研究也给与大力支持，十五、八六三计划的高性能计算专项和软件专项等重大科研项目都与网格技术有关。中国国家网格(China National Grid, CNGrid)就是“八六三计划”高性能计算机及其核心软件，重大专项支持建立的网格示范平台。CNGrid一期项目有8个计算结点遍布全国六大城市，总计算能力达到16Tflops，存储能力达到200TB，已经支持科学研究、资源环境、制造业和服务业的11个行业应用，包括资源环境网格、航空制造网格、气象网格、科学数据网格、新药研发网格、森林资源与林业生态工程网格、生物信息网格、教育网格、城市交通信息服务网格、仿真应用网格和国家地质调查网格。3.5

20、 发展公共超级计算中心具有战略意义超级计算中心是一个现代发达国家不可缺少的信息基础设施。从全球来看，超级计算中心在主要工业化国家和第三世界的部分大国都有部署，都得到政府的大力支持，超级计算中心由政府为主投资进行设备更新和运营支持是全球的普遍模式。我国目前为数不多的超级计算中心由特定的部门建设和应用，有部分的开放，但很难被外界使用。国家科技部和教育部也曾经投资建设了一些高性能计算中心，但缺乏长期持续的支持和发展。近年来有地方政府建立超级计算中心，但缺乏国家级的高性能计算中心，缺乏长远的规划和目标。从我国的国情出发，设立少数公共超级计算中心不仅能满足我国高性能计算的强烈需求，同时能使有限的资源得到

21、最有效的利用。众所周知，高性能计算机的发展速度快，初始投资和日常维护都需要大量的资金，如果机器在生命周期内不能最大效益的发挥作用，必然形成资源浪费。一个部门和机构很难建立大规模的计算中心，但峰值的需求又不能得到满足。超级计算中心有大量的用户，各用户之间对资源的峰值需求有交错性，从而使超级计算机保持稳定的高利用率。超级计算中心的初始投资和运营维护费用分摊到所有用户上，能大量节约社会投资，提高政府资金的效率。客户能够使用的高性能资源超出了自身能够建设的范围，但成本却大大降低。所以超级计算中心在美国又被称作“Cycle Shop”。 超级计算中心在高性能计算产业链中扮演着独特的承上启下的重要作用。超

22、级计算中心直接面对高性能计算终端用户，深刻理解用户的需求、各类应用特点，其经验对于高性能计算软硬件厂商非常重要，对高性能计算用户的培养和教育对于扩大高性能计算市场极其重要。 同时目前绝大多数的超级计算中心的非盈利特性，使得其没有把运行重点放在直接经济利益回报上，从而能够代表政府去做与产业集合紧密、合作各方多赢的事情。这都有利于一个健康、良好、多赢的高性能计算市场的形成和发展。超级计算中心要自觉地、主动地在学术和市场间广泛合作，游刃有余，串接起不同的价值链，让更多的人力资源、资金、技术、商誉更快地流动和转移。 超级计算中心是各学科知识聚集融合的场地，远远有别于一个单纯在计算机科学方面开展研究的I

23、T研究机构 ,对于推动高性能计算应用的深度和广度至关重要。通过各类基础科学、工程科学的各类科学家和专业技术人员与计算机专家、计算科学专家的互动，能积累丰富的经验、知识和成果。同时，超级计算中心在多学科交融的过程中，可以有更多的机会、更创新的模式为国家知识创新、科技创新提供更有效的支撑。4 现状与发展4.1 高性能计算的现状与发展高性能计算与传统计算相比较，其最大特点是速度快、计算结果精确。而对高性能计算的研究也正围绕着这样一个特点，主要从两个方面进行研究：致力于开发尖端高性能计算机。利用现在迅猛发展的网格技术，实现高性能计算。自1946年第一台计算机ENIAC在宾夕法尼亚大学问世以来，在这短短

24、的50年左右的时间里，冯、诺依曼体系的高性能计算机的迅猛发展，并且日益走向成熟大体来讲，高性能体系结构主要包括：Cra式的向量超级计算机集群、可扩展的单处理器和多处理器集群。目前集群系统也正从大规模并行计算机和运行专用软件的集群向运行标准软件的专用集群和由商用硬件和软件自制而成的 Beowulf系统集群系统转变。网格计算是网络技术发展的新阶段。我们采用网格技术可以将Internet或者某个局域网中的所有这些闲置的软件或者硬件资源都联系起来形成一个潜在的资源池，产生了强大的计算能力。当用户需要进行大规模计算时，他可以使用这个资源池里的资源进行计算，这时就像家里的用电不需要考虑我们所使用的电源是由

25、哪个发电厂生产的一样，不需要考虑所使用的具体资源所在的位置。这样的话，不管是何时何地，我们的计算机资源都能得到合理的应用，而且能够得到一个理想的计算效果。在未来的高性能计算的发展中，尖端的高性能计算机是网格计算中的重要计算资源，而网格技术也为未来取得一个高性能计算的能力提供了一个优良的环境。4.2 中国高性能计算的现状与发展由于我国在高性能计算技术上起步比较晚，工业水平及相应的经济发展程度低，再加上美国等西方国家一直把高性能计算技术作为重要的战略资源，长期以来对我国的实行全面的封锁和禁运，一直以来我国的高性能计算技术远远地落后于世界先进水平。20世纪90年代以来，随着“神威”、“银河”、“曙光

26、”、“深腾”等一批知名产品的出现，我国成为继美国、日本之后的第三个具备高性能计算机系统研制能力的国家，被誉为世界未来高性能计算市场的“第三股力量”。我国在高性能计算机研制方面取得了较好的成绩，掌握了研制高性能计算机的一些关键技术，参与研制的单位也由科研院发展到企业界，有力地推动了高性能计算的发展。目前，我国的高性能计算环境已得到重大改善，总计算能力与发达国家的差距逐步缩小。 我国的高性能计算技术拓宽了我国科学技术研究的深度和广度，提高了我国工业的生产效率，同时也节约了很多生产成本。我国的高性能计算技术目前主要在石油行业、天气预报、核能模拟、生物工程等领域得到了广泛的应用。但是中国高性能计算的应

27、用还不够广、不够深入，应用水平和应用效率都比较低下。我国对高性能计算应用的投入还远远不够，应用研发力量薄弱且分散，缺乏跨学科的综合型人才，从事高端应用软件研发的单位很少，企业界基本未介入，没有良好的相互交流的组织渠道等。高性能应用软件的开发和高效并行算法研究尚不能与高端计算机发展同步，在一定程度上存在为计算机“配”软件的思想。我国高性能计算应用的研究与发明明显滞后于高性能计算机的发展。国外品牌还占领着很多关乎国计民生的关键领域和行业，国产高性能服务器的市场份额仍然偏低。4.3 高性能计算的发展阶段自1946年ENIA诞生以来，人们就没停止对高性能计算的追求，总体经过以下几个阶段：4.3.1 P

28、VP20世纪70年代出现的向量机可以看作是第一代的高性能计算机，以Cray Research公司开发的 Cray系列计算机为代表。当时的并行向量机( Parallel VectorProcessing，PVP) 通过增加处理器个数、扩展存储器的方式不断提升计算能力，占领高性能计算市场达20年之久。其架构如图 1 所示，不过随着并行向量机处理器数目的增加，使得定制费用和维护费用越来越昂贵，性价比越来越低，已难以满足高性能计算机市场化的要求。这个类型的计算机以 CDC公司的CDC8600和CDC STAR- 100为代表。4.3.2 SMP随着大规模集成电路的出现，微处理器应运而生随着微处理器性能

29、的不断提高，对称多处理( Symmetric Multi-Processing，SMP)计算机取代了 PVP，直接导致并行向量机退出了高性能计算市场。这种技术在IL-LIAC IV时代就开始尝试应用了，其架构如图 2 所示：但是SMP计算机可扩展的处理器数目有限，加之对I /O和存储器操作的不便都限制了其发展。4.3.3 MPP20世纪90年代初，大规模并行处理(MassivelyParallel Processing，MPP)成为HPC发展的方向，并以ILLIAC IV和Cray I为代表，MPP架构下多个节点间通过网络进行连接，微处理器之间通过消息传递进行通讯。如图3所示，MPP系统使用专

30、门的网络和操作系统，而与此同时，随着个人 PC 的发展，集群出现了。4.3.4 集群集群是价格低廉并且方便的高性能计算方法，通过本地网络连接多台计算机来共同完成工作，集群中的计算机处于平等地位，通过相互协作完成计算。集群以较低的成本获得计算能力大幅度的提升，使高性能计算趋于平民化。集群结构如图4所示，集群获得了计算能力成倍的提高，与之相伴的就是并行与分布式计算技术。 并行计算(Parallel Computing，或并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。分布式计算(Distributed Computing)是一种把需要进行大量计算的工程数据分成小块，由多台计算机分别计算

31、，上传运算结果后，将结果统一合并得出数据结论的计算模式。目前实现并行与分布式计算最常见的技术是PVM和MPI。MPI已经成为并行计算的标准。集群的扩展毕竟是有限的，于是人们想将互联网上尽可能多的闲置计算机资源纳入到集群中来，这样就产生了网格计算技术，网格计算是分布式计算的1 种。4.3.5 网格网格(Grid)这个词源于电力网格(Power Grid)。“网格”与“电力网格”形神相似。一方面， 计算机网纵横交错，很像电力网络；另一方面，电力网格用高压线路把分散在各地的发电站连接在一起，向用户提供源源不断的电力，用户只需插上插头、打开开关就能用电，不需要知道电能是从哪个电站送来的，也不需要知道它

32、是水电、火电还是核电。建设网格的目的也是一样，其最终目的是希望它能够把分布在因特网上数以亿计的计算机、存储器、贵重设备、 数据库等整合起来，形成一个虚拟的、空前强大的超级计算机，以满足不断增长的计算、存储需求，并使信息世界成为一个有机的整体。网格的架构如图 5 所示：网格本质上是计算机集群，但是与集群有所不同。集群只是将多台计算机通过网络连接在一起，通过软件分工合作，来共同完成任务，然后将结果反馈集中。对用户来讲，面对的好像不是多台计算机的集群，而是1台计算机。集群要提升计算能力，只能通过增加服务器1种途径。而对于1个集群来讲，能增加的服务器数量显然是有限的，这也就限制了集群计算能力的进一步提升，而且随着服务器数量的增加，集群的性价比也会不断地下降。而对于网格来说，它面对的是整个因特网上的计算机，理论上具有无限扩展的可能，可以虚拟出空前强大的计算机。另外，集群在执行任务时要求集群中的每台计算机都是同构的，而网格则不需要。网格可以动态地获取限制资源并加以利用，也可以在任务完成后马上释放资源，合理使用负载，而这一点集群是做不到的。4.3.6 云计算随着高性能计算技术的进一步发展，出现了“云计算”技术，云计算的核心