高性能计算机与网格的研究开发态势.docx

1、高性能计算机与网格的研究开发态势高性能计算机与网格的研究开发态势（2004）Status and Trends in HPC and Grid Research徐志伟2004年1月30日修订文档状态：本报告系列是我所“曙光高性能计算机”和“织女星网格”两个品牌的相关研究开发动态与趋势的整合与分析，也包括与“龙芯”品牌、存储服务器相关的内容。另外,本报告系列关注计算机领域的突破性创新，对全所的工作都有参考作用。本报告主要关注国际研究开发趋势，但也包括市场应用趋势、对我所的影响。本报告不定期推出，大约一年一次。本文是本系列第二个报告。第一个报告是操作系统、网格、机群研究开发的若干动向（2002年8

2、月5日）。更前的报告见国外高端计算机的研究开发趋势与对策（2000年2月10日）。与织女星网格相关的报告见织女星网格：关键问题与设计原理（2002年11月22日）。本报告部分内容取自电脑启示录下篇启示录电脑的未来草稿。摘要：本文基于2002年8月至2003年12月，通过参加GGF-6、SC02、HPC Asia 2002、GCC2002、GGF-8、HPDC-13、SC03、Cluster 2003、GCC 2003以及与IBM、HP、Sun、Intel、Platform和国际学术界的交流，对国内外相关市场（包括与计算所伙伴曙光、联想、神州数码、中科力腾、中国联通、铁路、国信办等）调研和技术趋

3、势分析，以及我们自己的研究工作，总结了计算机体系结构、高性能计算与网格的若干研究开发态势。本文提出了下述几点看法和一些思想：（1）计算机领域正在面临着由网络计算（亦称网格）带来的一次突破性创新。（2）高性能计算机并不等同于网格，两者在今后15年都很重要，而且创新机会很多。随着电脑技术的广泛普及，社会对高性能计算机将成为全球大网格的需求会日益增长。高性能计算机将成为全球大网格的主机；而网络计算与服务将成为高性能计算机的主要工作负载。（3）中国市场和用户正在从跟踪方式向“需求驱动的跨越”方式转移，跟踪式研究不仅必然会导致学术持续落后，而且有落后于市场的危险。（4）这次突破性创新还有很多机会，今后2

4、-4年是我们计算所在计算机系统和软件领域做出经得起历史考验的科研成果的前所未有的时机。（5）我们可以通过“人机社会”凝练科学问题和研究目标，以曙光天剑网格计算机、织女星网格、IPv6网格、AVS网格、Vega-PG网格终端等系统为载体，在2004-2006年内开发出网格资源空间、网程、网格社区、GSML软件包等核心技术，从而提供高效的关键技术和应用平台。高性能计算机与网格的研究开发态势 11. 计算机领域面临大转折 31.1. 计算机产业发展的六个规律 31.1.1. 摩尔定律 31.1.2. 周期规律与S曲线 31.1.3. 网络效应 41.1.4. 小世界现象（网络论） 41.1.5. 病

5、毒性市场现象 51.1.6. 开放规律与因特网路线 51.2. 计算机产业发展的四个趋势 61.2.1. 摩尔定律与革命性体系结构概念、牧村浪潮 71.2.2. 广泛普及趋势 101.2.3. 网络计算趋势（网格化趋势） 111.2.4. 因特网路线趋势 122. 高性能计算机的研究开发态势 132.1. 机群 132.1.1. 机群已成为中高档高性能计算机主流产品 132.1.2. Linpack机群已成为大路货（Commodity） 152.1.3. Linpack机群受到两种质疑 152.1.4. 第三代机群：机群的创新机会 162.2. Supercomputing 2003（SC20

6、03）要点 172.3. 革命性体系结构及系统部件技术 173. 网格技术的研究开发态势 183.1. 英国e-Science网格 183.2. OGSA/OGSI/Globus 193.3. 网格面临的挑战 203.4. 网格的远景和科学问题 214. 中国市场的新动向 225. 对计算所的启示 226. 参考文献 23计算机领域面临大转折尽管从市场和媒体角度看，电脑产业变幻无常，但事实上，电脑产业发展具有自身的规律。有些规律是技术领域的普遍规律，有些是电脑学科特有的；有些规律随时间而变化，有些则比较持久；有些早已存在，有些则是近10年来逐渐浮现出来。本文讨论适合于今后15年的六个基本规律，

7、即摩尔定律、周期规律、网络效应、小世界现象（网络论）、病毒市场现象，因特网路线，以及随之而来的几个对2005-2020年电脑产业发展趋势的判断，总结了四个趋势和它们构成的转折。本节摘自电脑启示录下篇启示录电脑的未来草稿。计算机产业发展的六个规律摩尔定律电脑发展史上有一条规律40年一直未变，而且业界普遍认为它会持续到2020年。这个规律就是摩尔定律。它说，一块半导体集成电路芯片上的晶体管数每隔2年就要翻一番，从而使得芯片的性能（每秒钟执行的指令数）也每隔2年就翻一番。摩尔定律是一种经验观察，并不是牛顿定律一样的物理规律。但它反映了市场需求，同时也是芯片厂商的响应。它有一种自我加强性：摩尔定律意味

8、着不懈的竞争，芯片厂商为了在市场上站住脚，必须不断改进技术，这又反过来加强了摩尔定律。最新统计研究表明，半导体集成电路芯片上的晶体管数翻一番所花的时间并不是刚好两年，而是有一些波动。在1965-1975年期间平均是17个月；在1975-1985年期间是22个月，在1985-1995年期间延长到了平均32个月，在1995-2003年期间又缩短到22-24个月。18个月是市场媒体的夸张。周期规律与S曲线任何技术的发展都遵循周期规律，亦称S曲线。图1是我们今天看得到的计算机技术的曲线，该图是作者根据IBM副总裁乌拉道斯基-伯格博士的材料修改得来的。图1. 计算机技术的S曲线周期规律包含如下要点： 任

9、何技术都有一定的生命期。 生命期可以分成若干阶段（图1显示了前四个阶段，后面还有成熟、衰亡）。 每个阶段都需要技术创新，但目的和重点有所不同。 每个阶段是由一些更小的S曲线组合而成。 像“计算机科学与技术”这样的一级学科，宏观上讲也是一种技术，也遵循周期规律。不过，它还包含很多子技术、子学科。每一项子技术也遵循周期规律，也有自己的S曲线。计算机学科的S曲线是由它的子技术的S曲线组合而成的。网络效应网络效应（network effect）在经济学界早已熟知了，那就是一种商品的价值随着其消费者的增多而提高。电话就是一个例子。如果全世界只有几百个电话用户，则电话的价值是不大的。公众之所以认识到了电话

10、的价值，电话之所以能够广泛普及，来源于电话用户达到了一定的临界量。用户越多，则电话的价值就越大。对电脑而言，我们还有更精确的规律（见电脑启示录中篇硅谷的秘密）。比如，麦特考夫定律说：“电脑网络的价值（value, utility）正比于用户数的平方。”布朗定律说：“电脑网络的价值正比于网络中社区个数的指数。”也就是说，网络的价值 2c ，c是社区个数。有的民口人士将价值称为生产力，而一些军口人士（如美军GIG）将价值称为战斗力。这两条定律有三个关键点：第一，网络要普及，不仅要有物理层面的连通，而且必须是用户看到的，能够方便地使用起来的连通。只是把电脑用网线连起来是不够的，必须在应用层面连通起来

11、，让用户享受到高质量的服务。第二，网络的价值随着用户数增多而超线性的增长。因此，最优化的方法是将全世界的用户（和系统、应用）都连在一个大网里，彻底消除信息孤岛。同时，在这个连通所有用户的大网里提供尽量多的社区（以及社区带来的高质量服务），供用户选择。第三，信息的价值正比于共享程度。网络效应的根本原因是它鼓励信息共享。因此，今后的价值优化发展趋势是，在安全和合法的范围内，最大程度地鼓励信息共享。网络效应说明了，必须把全球的电脑资源连通为一体，最大程度地共享，方便地提供用户使用，才能最优地增大电脑网络的价值，才能促进电脑的广泛普及。小世界现象（网络论）近15年来，科学家们已经发现，电脑网络是有其内

12、部规律的，这些规律也适合于电脑的用户群。而且，这些规律并不局限于电脑网络，在生物学、经济学、社会学、生态学等等学科中普遍存在，很可能是一种普遍的规律。因此，这些研究产生的论文大部分发表在科学、自然、物理评论通讯等自然科学的学术期刊上。这些规律互相关联，还没有统一的名称。有人称其为网络论（net theory），也有人用其中的一个主要结果作为代表，称为“小世界现象”。文献2对网络论作了精彩而通俗的介绍。这些科学发现有下列要点： 小世界现象：网络的分离度（degree of separation）通常是很小的 网络具有结构：幂数率（power law）与中心结点（hub）、蝴蝶结图 网络的结构和系

13、统性质来自于自组织、成长与竞争作者认为，网络论正在成长为一门继系统论、信息论和控制论之后的与计算机相关的重要理论。它的成果对电脑的广泛普及、对计算机学科的未来发展可能会产生直接影响。比如，网络的这些符合幂数律的结构特征对网络的安全可靠性有直接影响。抛开很多细节不谈，网络论研究已初步表明：网络既是健壮的（robust）又是脆弱的（vulnerable）。说网络是健壮的，是因为满足幂数律的网络具有抵御随机、自然故障的能力。比如，全球因特网中，每个时刻都有几百个路由器出故障，但因特网服务总体上却没有受影响。说网络是脆弱的，是因为它不能应付恶意的攻击和级连故障（cascading failure）。一

14、个黑客、一个病毒如果有选择地恶意攻击因特网的中心结点，可以导致整个网络崩溃。这个本质性的结果告诉我们，如何应对网络的脆弱性是今后20年的一个研究热点。病毒性市场现象在网络计算时代，在电脑的广泛普及阶段，什么样的产品和服务最能够快速、广泛地流行呢？答案很清楚，这些产品和服务一定要有病毒的特征。事实上，电脑病毒的流行是如此之快而广泛，我们每年都要花费大量的财力和精力去对付它。那么，我们能不能把我们的有用的产品和服务做得像病毒那些易于流行呢？这需要我们了解病毒的市场特征。为什么电脑病毒易于流行呢？是不是功能和性能呢？显然不是。没有用户会去有意地“使用”病毒的功能。当然，有用的产品和服务必须为用户提供

15、功能和价值，但功能和价值并不是病毒流行的原因。专家们总结出了病毒的六个市场特征： 连通性。病毒必须要通过一个连通的网络才能流行。在一个充满孤岛的支离破碎的网络中，病毒是很难流行的。 幂数律。病毒性市场现象在经济学中早已有所涉及。但这些传统研究表明，病毒必须积累到一定的临界数量或临界阈值（critical threshold）才能流行。最新研究则表明，当病毒作用于一个满足幂数律的网络时，这个临界阈值几乎不存在。病毒用不着在网络中积累到一定临界数量，而是可以通过中心结点迅速传播。 低成本。对用户还言，病毒的成本极低。事实上，没有人会出钱去买一个病毒来使用，病毒的购买价格是零。 好使用。病毒的“使用

16、”是非常方便的。用户用不着花费任何金钱和精力去获取、安装、使用和维护病毒，也用不着去受任何培训、去看使用手册。一切都是病毒自己自动完成的，用户用不着任何投资，也没有金钱和精力的开销。这样，不仅病毒的购买价格是零，它的总拥有成本（Total Cost of Ownership, TCO）也是零。 易传播。病毒的传播也是很容易的，用户没有任何开销。用户在自己的电脑上每“使用”一次病毒，该病毒就会自动地传播出去，使另外一个或多个用户成为该病毒的客户。随着每次“使用”，病毒的用户群日益扩大，病毒迅速流行。 强黏糊（sticky）。病毒的黏糊性很强，如果用户不花精力刻意去搞掉它，病毒会一直在系统中持续地

17、发挥作用。开放规律与因特网路线电脑发展60年的历史表明，开放的技术较易流行。这就是开放规律。电脑技术的发展有多种多样的方式，如政府资助的纯研究、应用研究和原型开发，也有公司资助的研究和产品开发。但是，有一种方式的重要性将会上升，而这种方式在中国还很少实践，也不太为人所知，甚至不为人理解。这种方式就是因特网路线。因特网路线实际上在因特网诞生之前就被人们实践着，但在因特网的发展中体现得最充分。在电脑历史上，人们采用因特网路线做出了很多重要的创新，其中著名的技术包括因特网和GNU/Linux操作系统。近二十年来，采用或部分采用因特网路线进行电脑创新的人越来越多，它正在成为网络计算时代最重要的创新技术

18、路线。因特网路线有五个要点，即人民性、领导性，开放标准、粗略共识、运行代码。详见电脑启示录下篇。计算机产业发展的四个趋势本节简单说明四个趋势（图2）。电脑启示录下篇有更详细的阐述。1999年11月，美国政府的国家情报委员会委托著名的思想库兰德公司（RAND）组织一次未来研究，探讨2020年全球信息技术的景象。兰德公司组织了全美数十名学术界、企业界、政府界和非政府组织的专家进行了近两年的研究，得出了具有高度共识的结论，认为下列五项技术将成为今后20年的突破性创新技术，并对信息技术市场产生广泛影响 ： 光通信（Optical Communication）。全部采用光学原理的通信技术将能提高通信速度

19、数千倍，达到每秒数万亿比特。这将大大改变计算机体系结构、操作系统、网络协议和应用软件。 广泛互联（Universal Connectivity）。通过各种无线和有线的互联技术，人们将随时随地都可以联在网上。而这将产生各种各样的新产品和服务，改变政府、企业、金融业的运作模式。 普遍计算（Ubiqutous Computing）。计算机将无所不在。各种嵌入式计算机将存在于各种设备、工具和设施当中（衣服、家用电器、住宅、办公楼、汽车、公路等等），为人们的衣食住行和工作提供智能监控与服务。 传感器（Pervasive Sensors）。传感器将无所不在。通过各种各样的廉价的传感器和短距离无线通信技术，

20、人们的物理世界将与虚拟世界耦合于一体。 全球信息功用设施（Global Information Utilities）。人们将实现1960年代提出的信息网格梦想，像使用电力、电话一样方便地获取信息服务。兰德公司的这项研究还有一个很有趣的特征，就是专家们花了很大功夫找出预测未来的最好方法。他们总结了历史上人们用于预测未来的三类方法。（1）一厢情愿法（wishful thinking）：表达人对未来的愿望和担心，但较少客观的依据。这种方法用得最多，但准确性较差。（2）趋势外推法（trends extrapolation）：即根据已知的现实情况，总结出未来趋势。这种方法对10-15年内的情况比较准确，

21、但不适合更长时间的预测，因为它难以考虑到人类社会对技术发展的互动影响。（3）活动空地法（reading the clearing）：从社会、文化、历史、技术等环境因素，找出人类活动的“空地”。只有空地内的发展才是可能的。这个方法之所以被称为“空地法”，是因为它借用了森林中的空地的比喻，空地之内是人们创新活动的空间，空地之外的环境不允许人们活动。这种方法对15-20年的预测比较准确。如果我们利用趋势外推法和活动空地法，以电脑发展的六条规律为线索，我们可以预测今后10-15年电脑产业可能的四个主要趋势，即摩尔定律趋势、广泛普及趋势、网络计算趋势、因特网路线趋势。这些预测并不只是作者个人的判断，而是

22、在一定程度上总结了电脑产业界的共识。这些判断可以用图2表示。图2. 计算机产业的四个发展趋势摩尔定律与革命性体系结构概念、牧村浪潮摩尔定律在2020年以前会继续成立。因此，在硬件电路层面不会发生大的转折，半导体集成电路仍然保持主流地位。但是，如何利用摩尔定律来有效地构造部件和系统却不是确定的，硬件芯片和系统层面可能发生大的创新。摩尔定律的一个有效应用就是SIA Roadmap。下表显示了SIA Roadmap（2002）对2002年、2005年、2016年的部分预测数据。SIA的其它研究表明，摩尔定律到2020年都会成立，下表的趋势可以延续到2020年。高档处理器芯片的发展趋势（数据来源于SI

23、A）技术指标参数2002年2005年2016年工艺（微米）0.130.080.022主频（GHz）2.35.228.8管脚数（根）132017604702晶体管数（亿个）3.486.9788.48电压（伏）1.00.90.4最大允许功耗（瓦）140170288成本（美分/100万晶体管）69240.54成本（美元/芯片）24016348高档内存芯片（DRAM）的发展趋势（数据来源于SIA）2002年2005年2016年工艺（微米）0.1150.080.022容量（Gbit）2.158.5968.72成本（美分/Mbit）5.41.90.042成本（美元/芯片）116163292002年，一枚高

24、档CPU芯片采用0.13微米工艺，成本为240美元，主频为2.3 GHz，内含3.48亿个晶体管，每100万个晶体管的成本为69美分。到了2016年，一枚高档CPU芯片将采用0.022微米（22纳米）工艺，主频增长到28.8 GHz，内含88亿个晶体管，成本却降到48美元，即每100万个晶体管的成本为0.54美分。计算机硬件部件可分为处理（含控制）、内部存贮、外部存贮、互连和外部设备。根据上面的讨论，我们可以给出下列判断： 在20052020年时段，摩尔定律继续成立。 处理部件的主流技术仍将是半导体集成电路。 内部存贮的主流技术仍将是半导体集成电路。 外部存贮的主流技术仍将是磁性材料技术以及半

25、导体集成电路；纳米材料存贮技术有可能成功，但不确定。 互连的主流技术将是（传统）电路以及光互连技术。总之，在今后20年，半导体集成电路仍将是计算机的主流技术，其它新兴的技术（如量子计算、分子计算、生物计算）还难以取代它。由于摩尔定律继续成立，我们对今天已有的硬件可以做出一些颇有把握的推断。比如，今天一台桌面微机的全部电路今后可以缩小到手掌中（如手机、PDA），而今天的手持设备的全部电路可以缩小到指甲大小、甚至米粒大小。这后一种硬件已经有很多产品原型了，称为“智能微尘”（smart dust或motes）。但是，如何利用摩尔定律带来的硬件进步？如何将它有效地映射到人们的需求和市场产品与服务中？人

26、们是应该将这些电路的进步应用于计算，还是应该用于存贮、用于通信？或许我们应该采用当年施乐公司PARC研究所的科学家发明Alto微机时的思路，将90%的电路资源用于屏幕显示（即交互）？是将这些进步应用于提高性能和功能，还是用于降低成本或者提高好用性？业界对这些问题有很多回答，而且今后的发展还有很大的不确定性。美国国家科学基金会认为，高性能计算机正处于重要的转折期，因此在2001年开始启动一系列项目，鼓励“革命性体系结构概念”的研究，其中的一个重点就是如何用好摩尔定律带来的硬件进步，提高计算机的效率和生产力。更多细节见下文。让我们不要考虑整个电脑系统，只集中于半导体数字电路芯片。在这个领域，针对如

27、何有效地使用摩尔定律的问题，电脑界已经总结出了一个宏观规律，称为牧村浪潮（见图3）。这个经验观察规律是日立公司的首席技术专家牧村次夫于1987年第一次提出的，并于2001年加以修订，以覆盖2007-2017年的预测情况。经过了十余年的检验，人们发现这个经验观察比较精确。现在，牧村浪潮已经越来越受到人们的重视。当牧村次夫在1987年第一次提出他的观察（后来人称牧村浪潮）时，他只考虑了1957到2007年的情况。牧村浪潮包含三个要点。第一，半导体芯片产业交替重复标准化和专用化的周期；第二，这些周期同时受技术和市场因素推动产生；第三，每个周期为时大约20年，标准化阶段和专用化阶段各为10年。图3.

28、半导体芯片的牧村浪潮（Makimotos Waves）牧村浪潮的成立是由市场和技术的原因造成的。在2003年，牧村次夫再次将这些原因归纳比喻为一种钟摆运动（见图4），阐述了芯片产业重复标准化和专用化周期的道理7。牧村次夫认为，我们现在处于这样一个可重构阶段（field programmability，FPGA是一个例子）：半导体产业界的技术（尤其是制造技术）是标准化主导（因为制造成本太高），但市场却是专用化主导。因此，标准可重构芯片正是解决标准化技术和专用化市场这一矛盾的最好途径。需要可重构的另一个原因是产品升级太快，一个芯片的使用周期从3-5年降到了1年（尽管使用总量可能不变）。可重构才能适

29、应这样的变化（见图5）。牧村次夫预测，这将适应我们正在进入的，以微机为代表的第一次数字浪潮以后的第二次数字浪潮，它的特点将是数字化消费者电子和网络产品（见图6），其市场将超过第一次数字浪潮。ASIC的成本优势正在消失。量越大，ASIC的总成本越低。但是，到2005年，300 MHz、30万门的芯片产品，如果量超过30万片，FPGA的总成本将低于ASIC芯片。图4. 牧村浪潮的市场和技术原因：钟摆运动“When large numbers of new technologies, such as devices, architectures, and software, appear, the

30、semiconductor industry as a whole moves towards standardization. Then, aspects appear that function to suppress this motion, such as the need for product differentiation and added value, and the imbalance between supply and demand. In the other direction, progress in design automation and advances i

31、n technologies such as CAM and CAT occur and the semiconductor industry then shifts to customization. When the whole semiconductor arena becomes oriented towards customization, there then appear reverse trends towards early market entry, cost reductions, and more efficient operation.”7标准可重构芯片之后是什么呢？牧村次夫预测是另一个专用化阶段。其技术特征是SoC/SiP，使用maskless technology（以降低mask的成本）和superconnector技术（以解决连线问题）。它的市场特征是充分利用网络化趋势的电子业务（e-business that takes full advantage of networks）。见图3。图5. 芯片产品的生命周期大大缩短图6. 牧村次夫预测的第二次数字浪潮广泛普及趋势电脑将进入广泛普及阶段。电脑的用户群将成倍扩张，电脑网络将像自