物联网导论第章云计算与大数据.pptx

物联网导论第章云计算与大数据.pptx

《物联网导论第章云计算与大数据.pptx》由会员分享，可在线阅读，更多相关《物联网导论第章云计算与大数据.pptx（113页珍藏版）》请在冰豆网上搜索。

第10章云计算与大数据通过本章的学习，应掌握云计算的定义、基本概念及模型。

了解云计算的虚拟化技术、云计算的机制以及云计算的基本架构。

掌握大数据的概念和典型的大数据处理系统，大数据处理的基本流程，了解Hadoop分布式大数据系统。

本章学习目标应掌握云计算的定义、基本概念及模型云计算的虚拟化技术、云计算的机制以及云计算的基本架构大数据的概念大数据处理的基本流程本章知识点10.1云计算基础10.1.1云计算的起源与定义

（1）效用计算与网络技术催生了云计算

（2）远程服务加快了云计算的发展（3）早期的“网络云或云”与现在的“云”的异同计算机应用的效用化及互联网的普及化带来了云计算概念的诞生与发展，企业推出的远程服务及远程计算资源的租赁，使得云计算正真成为一种全新的信息技术1云计算的起源

（1）NIST定义：

云计算是一种模型，可以实现随时随地、便捷地、按需地从可配置计算资源共享池中获取所需资源（例如，网络、服务器、存储、应用程序及服务），资源可以快速供给和释放，使管理的工作量和服务提供者的介入降低至最少。

这种云模型由五个基本特征、三种服务模型和四种部署模型构成。

计算资源是指各种硬件和软件资源（如服务器、软件、网络等与计算相关的实体）。

（2）本书的定义：

云计算是一种基于网络的分布式计算，它可以按需提供给用户可扩展和计量的计算资源。

2云计算的定义

（1）集群化的冗余与故障转移

（2）网格计算（3）虚拟化（4）使能技术3云计算的技术创新10.1.2云计算基本概念及模型1基本概念与术语云是指一个独特的计算环境，它可以按需提供给用户可扩展和计量的计算资源。

云这个术语原来比喻Internet，在本质上是由网络构成的，可用于对一组分散的计算资源进行远程访问。

云的符号如图10.1.1所示。

在云计算出现之前，云符号代表Internet，在云计算中专门表示云环境边界。

（1）云（Cloud）

（2）计算资源物理服务器虚拟服务器软件服务存储设备网络设备提供基于云计算资源的一方称为云提供者（CloudProvider），使用基于云的计算资源的一方称为云用户（CloudConsumer）。

（3）云用户与云提供者从计算资源的角度看，可扩展性是指计算资源可以增加或减少的使用需求的能力。

可扩展性主要有两种类型：

第一种是向外或向内扩展的水平扩展；另一种是向上或向下扩展的垂直扩展。

（4）可扩展性（a）水平扩展物理服务器池虚拟服务器AABABC水平扩展（b）垂直扩展AB4个CPU8个CPU垂直扩展云服务（CloudService）是指任何可以通过远程访问的计算资源。

云服务的含义较宽泛，可以是一个简单的Web程序，或者是管理工具，或者更大环境和其他计算资源远程接入点。

云计算是以服务形式提供计算资源的，这些服务封装了其他计算资源，向客户端提供远程应用功能，亦即“作为服务”（As-a-Service）。

（5）云服务云端用户（CloudConsumer）是一个临时的运行角色，由访问云服务的软件承担此功能。

常见的云端用户可为软件程序、服务、工作站、笔记本电脑、移动终端等。

云计算可以降低用户的投资，提高计算资源的可扩展性，提高可用性和可靠性。

（6）云端用户2云概念与模型依照与云以及承载云的计算资源之间的关系和交互状况，组织机构与人可以在云环境中承担不同类型的、事先定义好的角色，各角色参与云计算活动、履行与之相应的职责。

角色可分为以下几种：

（a）云提供者；（b）云用户；（c）云服务拥有者；（d）云资源管理者；（e）其他角色；（f）组织边界；（g）信任边界

（1）角色与边界（a）按需使用（b）泛在接入（c）多租户与资源池（d）弹性（e）可计量使用（f）可恢复性

（2）云计算的6大特性单租户环境中，每个云用户都有单独的计算资源实例云服务用户A云服务A存储设备A云服务用户B云服务B存储设备B在多租户环境中，计算资源的一个实例要服务多个用户云服务用户A云服务A云服务用户B云服务B共享云存储设备云交付模型（CloudDeliverymode）是云提供者提供具体的、事先封装好的计算资源的组合，常见的云交付模型有IaaS、PaaS和SaaS。

（3）云交付模型IaaS交付模型是一种自我包含的计算资源，由以基础设施为中小的计算资源组成，可以通过云服务接口和工具访问、管理这些资源。

这个环境可以包括硬件、网络、连通性、操作系统以及其他一些原始的计算资源。

在IaaS中计算资源通常是虚拟化的封装，在运行时扩展和定制基础设施就较简单容易。

IaaS环境一般允许云用户对其资源配置和使用进行更高层次的控制。

IaaS提供的计算资源通常是未配置好的，需要云用户配置管理。

（a）基础设施即服务（IaaS）云用户使用IaaS环境中的虚拟服务器云服务用户云提供者物理服务器虚拟服务器Iaas服务合约PaaS交付模型是预先定义好的“就绪可用”（Ready-to-Use）的环境，一般由已部署好的和配置好的计算资源组成。

PaaS依赖于使用已就绪环境（Ready-made）环境，设立好一套预先封装好的产品和用来支持定制化应用的整个交付生命周期的工具。

在预先准备好的平台上，用户省去了建立和维护裸的基础设施计算资源的管理负担。

对于承载和提供这个平台的底层计算资源，云用户的控制权的级别较低。

（b）平台即服务（PaaS）云用户访问已就绪的PaaS环境云服务用户云提供者已就绪的环境虚拟服务器Iaas服务合约SaaS通常将软件定位为共享的云服务，作为“产品”或通用的工具提供服务。

SaaS交付模型一般是一个可重用的云服务，对大多数云用户可用。

（c）软件即服务（SaaS）SaaS云服务云服务用户屏蔽了环境细节云服务Iaas服务合约三个基础的云交付模型组成了一个资源提供的层级，可以把这些模型组合起来使用。

常见的组合有IaaS+PaaS，IaaS+PaaS+SaaS。

（e）云交付模型组合云部署模型表示的是某种特定的云环境类型，主要是以所有权、大小和访问方式来分。

常见的云部署有公有云、社区云、私有云和混合云。

（a）公有云：

公有云（PublicCloud）是由第三方云提供者拥有的、可公共访问的云环境。

（b）社区云：

社区云与公有云类似，只有社区内的云用户才可访问社区云。

社区云可以是社区成员或提供具有访问限制的公有云的第三方提供者共同拥有的。

（c）私有云：

私有云是由一家组织或单位单独拥有的云。

（d）混合云：

混合云是由两个或多个不同云部署模型组成的云环境。

（4）云部署模型虚拟化技术是云计算的关键技术之一。

虚拟化是将物理的计算资源转化为虚拟的计算资源的过程。

计算资源的虚拟化主要包括以下几个部分：

服务器的虚拟化，即将一个物理服务器抽象为一个虚拟的服务器；存储设备的虚拟化，即将一个物理存储设备抽象为一个虚拟存储设备或一个虚拟磁盘；网络的虚拟化，即将一个物理的路由器、交换机等网络设备抽象为逻辑网络，如VLAN。

10.1.3虚拟化采用虚拟化软件创建新的虚拟服务器时，首先分配物理计算资源，然后安装操作系统。

虚拟服务器使用自己的操作系统，它独立于创建虚拟服务器的操作系统。

安装了操作系统的虚拟机与在物理服务器上运行一样。

运行虚拟化软件的物理服务器称为主机（Host）或物理主机（PhysicalHost），其底层硬件可以被虚拟化软件访问。

虚拟化软件功能包括系统服务（与虚拟机管理相关的服务），这些服务通常不会出现在标准的操作系统中。

因此，这种虚拟化软件有时也称为虚拟机管理器（VirtualMachineManager）或虚拟机监视器（VirtualMachineMonitor,VMM）。

（1）硬件无关性

（2）服务器整合（3）资源复制：

创建标准化虚拟机映像；增强灵活性；回滚功能；支持业务连续性。

1硬件无关性与服务器整合基于操作系统的虚拟化是指：

在一个已存在的操作系统上安装虚拟化软件，该已存在的操作系统称为宿主操作系统（HostOperatingSystem），例如，一个用户的工作站安装了一操作系统，现在欲生成虚拟服务器，于是，就像安装其他软件一样，在宿主操作系统上安装虚拟化软件。

该用户需要利用这个应用软件生成并运行一个或多个虚拟服务器，并对生成的虚拟服务器直接访问。

由于宿主操作系统可以提供对硬件设备的支持，所以，即使虚拟化软件不能直接应用硬件驱动程序，但操作系统也可以支持虚拟机使用硬件驱动程序。

图10.1.12为基于操作系统的虚拟化逻辑分层结构，其中VM首先安装到宿主操作系统上，然后生成虚拟机。

虚拟化带来的硬件无关性使硬件计算资源的使用更加灵活。

2基于操作系统的虚拟化基于硬件的虚拟化是指，将虚拟化软件直接安装在物理主机硬件上，这样可以绕过宿主操作系统。

由于虚拟服务器与硬件的交互在再需要来自宿主操作系统的中间环节，因此，基于硬件的虚拟化具有更高的效率。

在这种情况下，虚拟化软件一般是指虚拟机管理程序（Hypervisor），其具有简单的用户接口，所需的存储空间非常小。

它由处理硬件管理功能的软件构成，形成了虚拟化管理层。

为了虚拟服务器，它优化了驱动程序、系统服务和系统的性能开销，使得多个虚拟服务器可以同时在一个硬件平台上进行交互。

图10.1.13所示了基于硬件虚拟化的逻辑分层，它不需要另一个宿主操作系统。

3基于硬件的虚拟化与虚拟化管理基于硬件的虚拟化逻辑分层结构10.1.4Web技术WWW是通过Internet访问互联的信息资源系统。

它由两个Web浏览器客户端和Web服务器两个基本组件构成。

另外，还有其他一些如代理、缓存服务、网关、负载均衡等组件，用来改善诸如扩展性和安全性等Web的应用特性。

Web技术架构由三个基本元素组成：

统一资源定位符（URL）超文本传输协议（HTTP）标记语言（MarkupLanguage）HTML,XMLWeb资源也称为超媒体（Hypermedia），以区别超文本，这就意味着包含图形、音频、视频、纯文本和URL等，全部可以在单个文件中引用。

1基本Web技术基于Web技术的分布式应用，由于具有高性能的访问性，因此这些应用用于云环境中。

一个Web应用的简化通用架构如图10.1.14所示，为三层结构，分别为表示层、应用层和数据层。

表示层用于用户界面，应用层用于实现应用逻辑，数据层由持久性数据存储构成。

2Web应用Web服务的核心技术由Web服务描述语言、XML描述语言、SOAP和UDDI体现。

3Web服务Web服务描述语言（WebServiceDescriptionLanguage，WSDL）为标记语言，用于创建WSDL定义，该定义界定了Web服务的应用编程接口，包括独立的操作或功能，以及每个操作的输入/输出消息。

（1）Web服务描述语言Web服务交换的消息必须采用XML表示。

XML模式定义了基于XML的输入/输出消息的数据结构，这些消息由Web服务来交换。

XML模式可以直接链接到WSDL定义，或嵌入到WSDL定义中。

（2）（XMLschemadefinitionlanguage）SOAP它的前身为简单对象访问协议，它定义了Web服务交换的请求和响应消息的通用格式。

SOAP消息由报文和报头组成，报文是主要消息内容，报头一般包含运行时可处理的元数据。

（3）SOAP统一描述、发现和集成（UniversalDescriptionDiscovery,andIntegration,UDDI）规定服务要进行注册，将WSDL定义发布到服务目录，以便用户发现该服务。

（4）UDDI10.2云计算机制云基础设施是云环境的基础，是云技术构架基础的主要构件，主要包括的云基础设施机制有：

逻辑网络边界、虚拟服务器、云存储设备、云使用监控、资源复制和已就绪环境等，它们是云平台中常见的核心组件。

10.2.1云基础设施机制

（1）逻辑网络边界的定义：

逻辑网络边界（LogicalNetworkperimeter）定义为：

将一个网络环境与通信网络的其他部分隔离开，形成一个虚拟网络边界。

它包含并隔离了一组相关的基于云的计算资源，这些资源在物理上可能是分布式的。

（2）用途：

逻辑网络边界的机制可被用于以下情形中：

（a）将云中的计算资