chapter1-5PPT课件下载推荐.ppt

1、n举例：流水线n分离、细化功能部件流水线功能不同的多机系统异构型多处理机系统指令流水线举例取指分析执行kK+1kkK+1K+1K+2K+2K+2部件分析取指执行时间并行性开发途径（续）n资源重复（Resource Replication）：是在并行性概念中引入空间因素，通过重复设置硬件资源来提高可靠性或性能。n多操作部件和多体存储器相联、并行处理机同构型多处理机系统CUPE（0）PE（1）PE（N-1）资源重复的例子并行性开发途径（续）n资源共享（Resource Sharing）：是利用软件的方法让多个用户按一定时间顺序轮流地使用同一套资源，以提高其利用率，这样也可以提高整个系统的性能。n网

2、络打印机n多道程序、分时OS 真正的处理机代替虚拟机分布处理系统计算机系统的并行性发展 n1960年以前 n算术运算的位运算（EDSAC、EDVAC、UNIVAC1）n输入输出间操作的并行n直接存储器访问（DMA）IBM709系列n1960年至1970年n流水线单处理机n多功能部件流水线n高速缓冲存储器Cache计算机系统的并行性发展（续）n1970年至1980年n多种并行处理系统结构，例：向量、阵列、相联等n1980年至1990年nRISC、多处理机、数据流机、智能机n1990年以来nMPP:Massively Parallel Processor 大规模并行处理机nSMP:Symmetri

3、c Multiprocessor 对称多处理机nSMP On Board,SMP on ChipnCluster:机群、集群坐落于Lawrence Livermore国家实验室的ASCI White FUJITSU VPP5000IBM p690n32x1.7GHz Power4+,217GFlopsn128GB 内存，205GB/S内存带宽n3 x I/O抽屉，60 x PCI-X，18GB/S I/O子系统带宽n42x146.8GB UltraSCSI3 磁盘，1920MB/S 磁盘接口带宽（stripping）n2 x Gigabit Ethernet 接口IBM传统的科学工程研究方法n

4、理论+实验n局限：n困难：大型风道n昂贵：小鸟撞飞机n缓慢：气候变化、星际演变n危险：武器设计、药物设计并行计算-高性能计算n并行计算（Parallel Computing）n高端计算（High-end Parallel Computing）n高性能计算（High Performance Computing）n超级计算（Super Computing）n任何高性能计算和超级计算都离不开使用并行技术n计算科学与传统的两种科学，即理论科学和实验科学，并立被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无

5、法进行时，计算就成了求解问题的唯一或主要的手段计算能力挑战n为寻找出潜在的抑制剂药物，需要对所有已知化合物数据库中的微生物药物靶标做甄别，甄别工作需要高性能计算机辅助完成n360万亿次的高性能计算机需要运行365天n1000万亿次的高性能计算机需要运行30天n5000万亿次的高性能计算机，需要运行一年完成所有已知的人类药物靶标n目前最高性能的Intel四核PC的性能大约为500亿次每秒日益膨胀的高性能计算需求HPC目前成为国家各行业科技创新的基础，当前对HPC人才的需求持续攀升高性能计算应用分类 计算密集型应用计算密集型应用（Computing-intensive）Computing-inte

6、nsive）：大型科学工程计算，数值模拟等。应用领域：石油、气象、应用领域：石油、气象、CADCAD、核能、制药、环境监、核能、制药、环境监测分析、系统仿真等。测分析、系统仿真等。数据密集型应用数据密集型应用（Data-intensive）Data-intensive）：数字图书馆，数据仓库，数据挖掘，计算可视化等。图书馆、银行、证券、税务、决策支持系应用领域：图书馆、银行、证券、税务、决策支持系统等。统等。通信密集型应用通信密集型应用（Network-intensive）Network-intensive）：协同工作，网格计算，遥控和远程诊断等。网站、信息中心、搜索引擎、电信、流媒应用领域：

7、网站、信息中心、搜索引擎、电信、流媒体等。体等。对计算能力的需求持续增长2020年以前超级计算机发展趋势n2000年 每秒10万亿次浮点运算n2005年 每秒100万亿次浮点运算n2009年 每秒1000万亿次浮点运算（Pflop/s）n2013年 每秒1亿亿次浮点运算n2016年 每秒10亿亿次浮点运算n2020年 每秒100亿亿次浮点运算（Eflop/s）基本上每10年左右性能提高1000倍超级计算机发展路线图时间2020年2030年2050年器件CMOS纳米量子器件量子、生物分子计算速度Exaflops（1018）Zettaflops（1021）Yottaflops（1024）并行度10

8、9-101011-10121013-1015内存容量25PBEB（1018B）ZB（1021B）功耗40MWMWMW用途核聚变模拟蛋白质折叠等地球模拟生命科学等MEMS优化脑科学模拟等2010202020302050并行计算软件环境及现状n操作系统：UNIX、LINUX、Windows NTn在SMP,DSM并行机上编译系统通常具有一定的对用户程序（C/Fortran）进程自动并行化的能力，但经常需要人工干预（通过编译制导,命令行选项等）以达到理想的并行效率，且并行主要针对循环进行（属于细粒度并行）n在分布式内存并行机上尚无通过高效的自动并行工具，主要依靠人工编写并行程序n并行算法的设计及并行

9、程序的编制已成为目前特约大规模并行计算机应用的主要障碍n并行编程现状n并行软件开发远远落后于并行系统体系结构的发展。缺少合适的并行软件是阻碍主流用户社会接纳并行计算的原因n与串行软件相比，并行软件数量少，功能原始n编程环境n落后的并行编译器、调试器 vs.通用先进的串行编程环境.n自动并行编译器远远满足不了程序并行化的要求.n算法n并行模型的多样化（并行计算机系统结构的多样性）vs.串行编程中的唯一模型:冯.诺依曼模型n问题的并行求解的困难在于问题的多样性和求解过程中所需的创造性劳动，使得这一过程难以进行自动化n对串行机而言,解法=唯一串行算法+计算程序（通用）n对并行机而言,解法=某种并行算

10、法+有针对性的计算程序（很难通用）n程序员n稀少而初级的并行编程人员 vs.成熟而经验丰富的串行程序员并行处理计算机的结构 n流水线计算机（时间重叠）n阵列处理机（资源重复）n多处理机系统（资源共享）n数据流计算机 流水线计算机、阵列处理机和多处理机n流水线计算机：主要通过时间重叠，让多个部件在时间上交错重叠地并行执行运算和处理，以实现时间上的并行。n阵列处理机：主要通过资源重复，设置大量算术逻辑单元，在同一控制部件作用下同时运算和处理，以实现空间上的并行。n多处理机系统：主要通过资源共享，让共享输入/输出子系统、数据库资源及共享或不共享贮存的一组处理机在统一的操作系统全盘控制下，实现软件和硬

11、件各级上相互作用，达到时间和空间上的异步并行。多机系统n指的是多处理机系统和多计算机系统 n多处理机系统：是由多台处理机组成的单一计算机系统，各处理机都可有自己的控制部件，可带自己的局部存储器，能执行各自的程序。n多计算机系统：是由多台独立的计算机组成的系统，各计算机分别在逻辑上独立的操作系统控制下运行，机间可以互不通信，即使通信也只是经通道或通信线路以文件或数据集形式进行，实现多个作业的并行。多机系统的耦合度 为了反映多机系统中各级器之间物理连接的紧密程度和交叉作用能力的强弱。n最低耦合系统（Least Coupled System）：各种脱机系统 n松散耦和系统（Loosely Coupl

12、ed System）：如果多台计算机通过通道或通信线路实现互连，共享某些磁带、磁盘等外围设备，以较低频带在文件或数据集一级相互作用。间接耦合系统n紧密耦合系统（Tightly Coupled System）：如果多台机器之间通过总线或高速开关互连，共享主存，并有较高的信息传输速度，可以实现数据集一级、任务级、作业级的并行。直接耦合系统 并行向量处理机（PVP）n结构特点：具有少量的高性能专门设计的VP；定制高带宽互连网；共享存储器；大量的向量寄存器而无高速缓存。n典型结构：分布共享存储多处理机（DSM）n结构特点：MIMDDM，CCNUMA；单地址空间的应用界面；DIR用以支持分布高速缓存一致性；定制互连网络。大规模并行处理机（M