计算机新技术学术讲座PPT资料.ppt

计算机新技术学术讲座PPT资料.ppt

《计算机新技术学术讲座PPT资料.ppt》由会员分享，可在线阅读，更多相关《计算机新技术学术讲座PPT资料.ppt（132页珍藏版）》请在冰豆网上搜索。

检索。

研究课题：

n数据挖掘数据挖掘应用平台研制及用平台研制及应用用（国家（国家863863项目）项目）n智能交通数据挖掘平台（信息产业部攻关项目）智能交通数据挖掘平台（信息产业部攻关项目）n环球多市场金融信息平台（上海市科委攻关项目）环球多市场金融信息平台（上海市科委攻关项目）2主要内容主要内容n计算机硬件与互联网技术计算机硬件与互联网技术n计算机软件技术计算机软件技术n智能信息处理技术智能信息处理技术3计算机硬件与互联网技术计算机硬件与互联网技术n集群计算技术集群计算技术n网格计算技术网格计算技术n普适计算普适计算n本体论与语义网络本体论与语义网络4集群计算技术集群计算技术n什么是集群什么是集群n集群是使用两台或两台以上的服务器组成的集群是使用两台或两台以上的服务器组成的服务器集合，用以提供高性能的不停机服务，服务器集合，用以提供高性能的不停机服务，每台服务器均承担部分计算任务和容错任务，每台服务器均承担部分计算任务和容错任务，但是整体上表现为一个单一系统。

但是整体上表现为一个单一系统。

n与传统的并行计算模型相比，集群中各节点与传统的并行计算模型相比，集群中各节点的复杂度中等，但是在单一系统映像、可靠的复杂度中等，但是在单一系统映像、可靠性和可伸缩性上更优越。

由于集群大多使用性和可伸缩性上更优越。

由于集群大多使用标准的商用部件，因此能够大幅度降低企业标准的商用部件，因此能够大幅度降低企业成本，如下页表所示。

成本，如下页表所示。

5集群计算技术集群计算技术特征特征MPPSMP集群集群分布式系统分布式系统节点个数节点个数100-100010-10010010-1000节点复杂性节点复杂性低低中中中中高高中中高高节点通信节点通信消息传递、共消息传递、共享变量享变量共享存储器共享存储器消息传递消息传递共享文件、共享文件、PRC、消息、消息单一系统映像单一系统映像部分支持部分支持支持支持完全支持完全支持不支持不支持任务调度任务调度主机单一队列主机单一队列单一运行队列单一运行队列多队列协同多队列协同独立运行队列独立运行队列系统可用性系统可用性中中低低高高中中系统可扩展性系统可扩展性低低中（中（100CPU以下）以下）高高中中6集群计算技术集群计算技术n集群系统的组成部分集群系统的组成部分n后台共享存储设备后台共享存储设备n集群内部网络通讯集群内部网络通讯n公共网络公共网络n虚拟的前台界面虚拟的前台界面n无虚拟内存的的集群系统无虚拟内存的的集群系统n为了进一步提高集群系统的效率，使用高速网络将为了进一步提高集群系统的效率，使用高速网络将各主机的内存连接起来，当一个任务的内存不够时，各主机的内存连接起来，当一个任务的内存不够时，它可以通过远程缺页的方式使用远程结点的内存，它可以通过远程缺页的方式使用远程结点的内存，这样可以通过高速网络共享全局内存。

这样可以通过高速网络共享全局内存。

7集群计算技术集群计算技术n无虚拟内存集群系统的难点无虚拟内存集群系统的难点n整个资源的分配概念发生了变化，它是基于内存的整个资源的分配概念发生了变化，它是基于内存的资源分配；

资源分配；

n一个结点可能需要访问另外一个结点的内存，这就一个结点可能需要访问另外一个结点的内存，这就需要解决结点内存的所有权和自治问题；

需要解决结点内存的所有权和自治问题；

n需要解决全局内存管理问题（集中式还是分散式），需要解决全局内存管理问题（集中式还是分散式），通过全局内存管理，应能达到减少网络流量，降低通过全局内存管理，应能达到减少网络流量，降低延迟和数据本地优化的目的。

延迟和数据本地优化的目的。

目前的操作系统还没有实现上述的处理，我们需要重目前的操作系统还没有实现上述的处理，我们需要重构操作系统以方便内存资源共享。

构操作系统以方便内存资源共享。

8集群计算技术集群计算技术n集群的分类集群的分类n科学计算集群科学计算集群n该集群主要用于大规模数值计算，解决复杂的科该集群主要用于大规模数值计算，解决复杂的科学问题。

这种集群上一般运行专用软件，能够将学问题。

这种集群上一般运行专用软件，能够将数据分布到不同的服务器上进行解决。

针对不同数据分布到不同的服务器上进行解决。

针对不同的科学计算任务，一般有以下两种方式：

的科学计算任务，一般有以下两种方式：

n任务分片方式：

将任务分成多个子任务并分任务分片方式：

将任务分成多个子任务并分配到各节点，每个节点单独运行出结果，最配到各节点，每个节点单独运行出结果，最后汇总计算结果；

后汇总计算结果；

n并行计算方式：

各个节点可以进行具有强藕并行计算方式：

各个节点可以进行具有强藕合关系的运算，运算中交换大量数据。

合关系的运算，运算中交换大量数据。

99集群计算技术集群计算技术n负载均衡集群负载均衡集群n该集群的目的是使负载尽量在各个节点中该集群的目的是使负载尽量在各个节点中均衡分布，如计算负载、网络流量负载等。

均衡分布，如计算负载、网络流量负载等。

n高可用性集群高可用性集群n该集群的目的是使服务系统的运行速度和该集群的目的是使服务系统的运行速度和响应速度尽可能快，通过将程序运行在冗响应速度尽可能快，通过将程序运行在冗余节点上，集群具有更好的容错性。

余节点上，集群具有更好的容错性。

n高可用性集群可以分为主从方式、双机备高可用性集群可以分为主从方式、双机备份方式和多机备份方式。

份方式和多机备份方式。

10集群计算技术集群计算技术n并行数据库集群并行数据库集群n近年来兴起的集群类型，同时具有并行计算、高近年来兴起的集群类型，同时具有并行计算、高可用性和负载均衡等多种特征，主要用于高端数可用性和负载均衡等多种特征，主要用于高端数据库领域，如据库领域，如OracleRAC和和IBMDB2EEE。

nOracleRAC系统每台主机拥有独立的系统每台主机拥有独立的CPU和内和内存，但是共享磁盘空间，主要针对于大量用户并存，但是共享磁盘空间，主要针对于大量用户并行的访问，行的访问，I/O冲突采用数据库的锁机制解决；

冲突采用数据库的锁机制解决；

nDB2EEE中各计算机拥有独立的中各计算机拥有独立的CPU、内存和、内存和磁盘，并且高速相连，对每一次访问，每个节点磁盘，并且高速相连，对每一次访问，每个节点查询本地表中的相应结果，返回给协调程序，最查询本地表中的相应结果，返回给协调程序，最后汇总成最终查询结果。

后汇总成最终查询结果。

11网格计算技术网格计算技术n网格的基本概念网格的基本概念n什么是网格（什么是网格（GRID）n网格是以网格是以Internet技术和分布计算技术为基础，技术和分布计算技术为基础，将地理上分散的各类计算资源、存储资源、数据将地理上分散的各类计算资源、存储资源、数据资源、应用资源、仪器设备等构成统一的虚拟环资源、应用资源、仪器设备等构成统一的虚拟环境，采用开放标准的协议，实现资源的有效共享，境，采用开放标准的协议，实现资源的有效共享，为动态参与的、由多机构所形成的虚拟组织协同为动态参与的、由多机构所形成的虚拟组织协同完成高性能计算、信息处理等各类应用，提供可完成高性能计算、信息处理等各类应用，提供可扩展的、安全的、一致的、不同等级质量的服务。

扩展的、安全的、一致的、不同等级质量的服务。

网格是集群系统的进一步发展。

12网格计算技术网格计算技术n网格计算的产生背景网格计算的产生背景n分布式计算、高性能计算、大规模的资源共享、分布式计算、高性能计算、大规模的资源共享、协同工作、数据密集型的科学计算。

协同工作、数据密集型的科学计算。

n网格的本质特征是网格的本质特征是n分布与资源共享分布与资源共享n高度抽象高度抽象n自相似自相似n动态性和多样性动态性和多样性n高可扩展性高可扩展性n网格计算的示例（见下页图所示）网格计算的示例（见下页图所示）13网格计算技术网格计算技术Tier1Tier1Tier2Centre1TIPSOnlineSystemOfflineProcessorFarm20TIPSCERNComputerCentreFermiLab4TIPSFranceRegionalCentreItalyRegionalCentreGermanyRegionalCentreInstituteInstituteInstituteInstitute0.25TIPSPhysicistworkstations100MBytes/sec100MBytes/sec622Mbits/sec1MBytes/secPhysicsdatacachePBytes/sec622Mbits/secorAirFreight（deprecated）Tier2Centre1TIPSTier2Centre1TIPSTier2Centre1TIPSCaltech1TIPS622Mbits/secTier0Tier0Tier2Tier2Tier4Tier414网格计算技术网格计算技术n网格的系统结构（见下页图所示）网格的系统结构（见下页图所示）n网格结点：

地理上独立的计算和信息中心，由网格结点：

地理上独立的计算和信息中心，由Internet上孤立、异构的各类资源组成；

上孤立、异构的各类资源组成；

n网格中间件：

网格体系结构的核心部分，其功能是网格中间件：

网格体系结构的核心部分，其功能是屏蔽网格资源层中计算资源的分布、异构性，向网屏蔽网格资源层中计算资源的分布、异构性，向网格应用层提供透明、一致的服务接口，如远程进程格应用层提供透明、一致的服务接口，如远程进程管理、资源分配、存储访问和安全控制等。

管理、资源分配、存储访问和安全控制等。

n网格应用工具层：

提供更为专业化的服务和组建不网格应用工具层：

提供更为专业化的服务和组建不同类型的应用。

同类型的应用。

n网格应用层：

应用层包括各种应用软件的研究、高网格应用层：

应用层包括各种应用软件的研究、高速网格的建设等，它可以使用户方便地共享网格中速网格的建设等，它可以使用户方便地共享网格中的各种资源。

的各种资源。

15网格计算技术网格计算技术16网格计算技术网格计算技术n典型的网格系统（典型的网格系统

（1）Globus系统系统n什么是什么是GlobusnGlobus是一个研究性的项目，其主要的研究目是一个研究性的项目，其主要的研究目标是网格基础技术研究，以及相应软件的开发和标是网格基础技术研究，以及相应软件的开发和标准的制定。

标准的制定。

Globus是网格技术的典型代表，是网格技术的典型代表，也是目前事实上的规范。

也是目前事实上的规范。

nGlobus是一种软件基础设施，它以单一虚拟机是一种软件基础设施，它以单一虚拟机的方式处理分布异构的计算资源，其核心在于的方式处理分布异构的计算资源，其核心在于GlobusMetacomputingToolkit（GMT），它提供，它提供了建构一个计算网格所需的基本服务，如安全、了建构一个计算网格所需的基本服务，如安全、资源定位、管理和调度、通讯服务等。

资源定位、管理和调度、通讯服务等。

17网格计算技术网格计算技术nGlobus的五层结构的五层结构应用层应用层多科学模拟多科学模拟光线追踪光线追踪汇聚层（面汇聚层（面向问题）向问题）联合求解器，联合求解器，分布式数据文档分布式数据文档检查点，作业管理，故障避免，检查点，作业管理，故障避免，分段运输分段运输汇聚层（通汇聚层（通用）用）资源发现，资源代理，系