微软云存储方案.docx
《微软云存储方案.docx》由会员分享，可在线阅读，更多相关《微软云存储方案.docx（16页珍藏版）》请在冰豆网上搜索。
微软云存储方案
微软云存储方案
微软校园云存储方案
1.现状
存储是用户、校园数字化系统保存数据，共享数据的主要形式。
目前常用的存储方式是将数据放置在在计算机的硬盘、U盘、移动硬盘等设备中；需要数据共享的时候，采用邮件、MSN文件传输等方式。
这些方式的使用起来方便，容易被老师和学生掌握。
但这些常规的方式中，也存在以下问题：
1）不便于携带。
在任何需要数据的地方，老师都必须随身携带这些存储设备，电脑之类的设备体积庞大，不便于携带。
2）数据容易丢失。
这些信息都存储在老师自己的硬盘、U盘中，这些设备没有做任何的存储冗余机制，在硬件设备损坏的情况下，数据就会丢失。
3）数据不安全。
数据存储在个人设备中，任何使用过这些设备的人，都可能获取这些数据，从而导致不必要的损失。
4）容量有限。
通过邮件等方式传输的数据，一般都存在附件大小的限制，过大的文件则无法传递。
5）冗余的数据存储。
由于采用个人的存储设备，一些好的教学资源，在很多老师的机器上都会存储，从而造成存储资源的浪费。
6）无法与数字化校园系统集成。
校园信息化的管理系统均需要对文件进行统一的调用，这就需要存储系统能够提供一个高度共享的存储池，满足包括人事学生管理系统、科研管理系统、教务管理系统等相互之间的资源共享及数据统一进行访问。
2.什么是云存储
云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
简单来说，云存储就是将储存资源放到网络上供人存取的一种新兴方案。
使用者可以在任何时间、任何地方，透过任何可连网的装置方便地存取数据。
然而在方便使用的同时，云存储还具有安全性、兼容性、可扩展性等特点：
1）作为存储最重要的就是安全性，尤其是在云时代，数据中心存储着众多用户的数据，如果存储系统出现问题，其所带来的影响远超分散存储的时代，因此存储系统的安全性就显得愈发重要。
2）在云数据中心所使用的存储必须具有良好的兼容性。
在云时代，计算资源都被收归到数据中心之中，再连同配套的存储空间一起分发给用户，因此站在用户的角度上是不需要关心兼容性的问题的，但是站在数据中心的角度，兼容性却是一个非常重要的问题。
众多的用户带来了各种各样的需求，Windows、Linux、Unix、MacOS,存储需要面对各种不同的操作系统，如果给每种操作系统更够配备专门的存储的话，无疑与云计算的精神背道而驰，因此，云计算环境中，首先要解决的就是兼容性问题。
3）存储容量的扩展能力。
由于要面对数量众多的用户，存储系统需要存储的文件将呈指数级增长态势，这就要求存储系统的容量扩展能够跟得上数据量的增长，做到无限扩容，同时在扩展过程中最好还要做到简便易行，不能影响到数据中心的整体运行，如果容量的扩展需要复杂的操作，甚至停机，这无疑会极大地降低数据中心的运营效率。
4）云时代的存储系统需要的不仅仅是容量的提升，对于性能的要求同样迫切，与以往只面向有限的用户不同，在云时代，存储系统将面向更为广阔的用户群体，用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升，只有这样才能对请求作出快速的反应，这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能，这显然是传统的存储架构无法达成的目标，传统的存储系统由于没有采用分布式的文件系统，无法将所有访问压力平均分配到多个存储节点，因而在存储系统与计算系统之间存在着明显的传输瓶颈，由此而带来单点故障等多种后续问题，而集群存储正是解决这一问题，满足新时代要求的千金良方。
3.云存储的优势
作为最新的存储技术，与传统存储相比，云存储具有以下优点：
1）管理方便。
其实这一项也可以归纳为成本上的优势。
因为将大部分数据迁移到云存储上去后，所有的升级维护任务都是由云存储服务提供商来完成，节约了学校存储系统管理员上的成本压力。
还有就是云存储服务强大的可扩展性，随着学校信息化的发展，用户会发现先前的存储空间不足，就必须要考虑增加存储服务器来满足现有的存储需求。
而云存储服务则可以很方便的在原有基础上扩展服务空间，满足需求；
2）成本低。
就目前来说，学校在数据存储上所付出的成本是相当大的，而且这个成本还在随着数据的暴增而不断增加。
为了减少这一成本压力，许多学校将大部分数据转移到云存储上，让云存储服务提供商来为他们解决数据存储的问题。
这样就能花很少的价钱获得最优的数据存储服务；
3）量身定制。
这个主要是针对于私有云。
云服务提供商专门为单一的企业客户提供一个量身定制的云存储服务方案，或者可以是企业自己的IT机构来部署一套私有云服务架构。
私有云不但能为企业用户提供最优质的贴身服务，而且还能在一定程度上降低安全风险。
4.云存储架构
传统的存储模式已经不再适应当代数据暴增的现实问题，如何让新兴的云存储发挥它应有的能力，在解决安全、兼容等问题上，我们还需要不断的努力，就目前而言，云计算时代已经到来，作为其核心的云存储必将成为未来存储技术的必然趋势。
从架构的层面来看，云存储系统的结构模型由4层组成。
1）存储层
存储层是云存储最基础的部分。
存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。
云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
2）基础管理层
基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。
基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
3）应用接口层
应用接口层是云存储最灵活多变的部分。
不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。
比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。
4）访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。
云存储运营单位不同，云存储提供的访问类型和访问手段也不同。
5.微软方案的技术特点
该套方案中的管理系统主要管理着方案中的核心资源，包括帐号、权限、云存储门户、服务器监控及报警、服务器软硬件资产信息、服务器软件负载供应、存储等。
1.1云存储帐号及权限管理
活动目录是WindowsServer网络体系结构中一个基础且不可分割的部分。
它提供了一套为分布式网络环境设计的目录服务，使得组织机构可以有效地对有关网络资源和用户的信息进行共享和管理。
另外，目录服务在网络安全方面也扮演着中心授权机构的角色，从而使操作系统可以轻松地验证用户身份并控制其对网络资源的访问。
基于WindowsServer2008构建的活动目录融合了全新的技术特点，具有以下的功能：
⏹DNS集成
活动目录使用域名系统（DomainNameSystem，简称DNS）。
这使得运行在TCP/IP网络上的计算机可以识别和连接另一台计算机。
DNS域和WindowsServer2008R2的域自然而有机的结合在一起，使得整个目录结构成树型分布，具有了DNS的层次感觉，也使得WindowsServer2008R2系统能够支撑庞大的目录结构，是的目录对象涵盖了整个网络元素：
用户，计算机，打印机，共享文件夹，应用程序，管理策略等。
⏹目录定位服务
通过DNS服务中的ServiceResourceRecord（SRVRR）记录公布提供目录服务的服务器地址，SRVRR中的附加信息指出了服务器的优先权及重要度，使得客户可以选择他们所需要的最好的服务器。
DNS记录也可以集成到目录中，随着目录复制而达到DNS复制的目的。
⏹全局唯一的用户名
在域内一个用户对象只能有一个用户主名，而这个用户名是可以用username@domainname表示的，就好比一个用户的mail地址一样。
正是具有了这个特性，才能够实现在企业内只要一套用户认证系统就可以实现所有应用系统的单一认证问题。
⏹可扩展性
活动目录是可扩展的，就是说管理员可以向模式中添加新的对象类，也可以向已经存在的对象类添加新的属性。
模式包括每一个对象类和对象类属性的定义，它们可以存储在目录中。
例如，可以向用户对象添加购买机构属性，然后可以将用户的购买机构范围做为用户帐号的一部分进行存储。
⏹灵活的查询
用户和管理员可以使用"开始"菜单上的"查询"命令、桌面上的"我的网络"图标或者"活动目录用户和计算机连接"插件来根据对象的属性快速的查找网络上的对象。
⏹身份联合
ADFS（活动目录身份联合）提供了基于Web的extranet验证/授权、单一签名登陆（SSO）和针对WindowsServer环境的联合的身份服务，从而提高了在涉及B2Cextranet、intracompany（多森林的）联盟和B2Binternet联盟的场景中、现有活动目录部署的价值。
⏹基于策略的管理
组策略是在初始化时对计算机或者用户进行的配置。
所有的小组策略设置都包含在组策略对象（GroupPolicyObject，简称GPO）中，它可以应用与活动目录站点、域或组织单元中。
GPO设置确定对目录对象和域资源的访问、哪些资源域是用户可以访问的以及这些资源域应该如何使用。
在利用企业网的目录管理服务提供单一的用户身份验证方面，总的来说，存在两方面的应用连接方式：
⏹C/S应用的连接方式
⏹WEB应用的连接方式
其中，WEB应用的连接方式比较统一，解决方法也比较成熟，而C/S应用的连接方式就比较复杂，需要根据特定的应用具体分析，举例来说，Domino/Notes系统就是典型的C/S应用。
在综合了所有解决方案之后，通过对安全性，用户使用的方便性，管理要求，实现技术的成熟性几方面的比较，最后推荐使用登录信息代理方式解决单一用户登录，统一认证（SSO）的问题。
这种方式的实现原理是：
应用的登录信息存储在目录数据库（AD）中，通过AD的用户认证得到保护。
在应用系统登录时从AD中获得相关信息进行登录。
这个过程通过SSO插件透明进行，从而实现SSO。
⏹UNIX身份管理
通过将AD域控制器作为主NIS服务器，并同步Unix和Windows环境中的用户密码，UNIX集成有助于在操作系统间建立不间断的用户访问和有效的网络资源管理。
1.2云存储服务器运维及监控
该部分内容提供对整个业务系统及管理系统自身的监控及报警，包括定义监控内容、数据采集、监控告警等。
1.1.1数据采集及监控
针对业务系统及各项软硬件的数据采集，我们将使用SystemCenterOperationsManager（SCOM）对整个系统进行监控并收集数据、汇总、生成报告。
SCOM可以对如下的基础IT设施进行数据采集：
⏹主机数据采集，主要包括：
Windows服务器和UNIX/Linux服务器；
⏹数据库数据采集，主要包括：
Oralce、Sybase、MSSqlServer等；
⏹存储设备数据采集，包括HP、IBM、EMC等厂家的设备；
⏹中间件数据采集，包括：
Microsoft.Nnet、AdobeJRun、BeaWeblogic、IBMWebsphere等中间件；
该系统支持异构环境的综合数据采集及监测，能对Windows系统平台服务器、大部分主流的UNIX/Linux系统平台服务器、主流数据库、应用服务器、存储设备以及支持SNMP协议的路由器、交换机、防火墙等网络设备进行全面的深入的数据采集管理。
系统使系统管理人员能在日趋复杂的IT环境中即时快速方便的了解整个系统的运行状况，从而能从应用层对IT系统的关键资源、应用进行全方位的实时监控管理。
对于详细的数据采集（及监控）要求如下所述：
⏹主机数据采集（及监控）
系统可以从多个方面对Windows、UNIX、Linux服务器的硬件设备、操作系统进行监控管理。
通过采集相应服务器的CPU、内存、磁盘、网卡等硬件的关键运行参数，软件和应用程序的进程、服务、端口的运行状况，系统能够及时对影响企业服务器运行性能的故障事件发送报警，并采取相应的故障处理措施，保证服务器的正常安全运行。
系统中提供的与服务器相关监控指标主要包括CPU、内存、磁盘空间、服务、进程、网卡、错误日志、Windows事件日志、UNIXLOG文件、文件和目录内文件数等。
系统对主机的监控采用两种方式：
代理方式和无代理方式。
对于使用无代理方式进行监测服务器时，系统使用TELNET、SSH和WMI协议来获取远程服务器的系统资源。
具体流程如下图所示：
图系统无代理监测方式
对于使用代理方式进行监测的服务器，系统使用TCP协议来传输经过加密的数据的方式来获取远程服务器的系统资源。
具体流程如下图所示：
图系统使用代理监测方式
对Windows主机的监测主要包括如下性能指标：
处理器
系统处理器性能通过以下性能指标在系统范围内衡量其性能：
CPU利用率
中断时间百分率
DPC时间
处理器能够在可选性地单个处理器级别通过以下关键性能指标被监控：
CPU利用率
中断时间百分率
DPC时间百分率
性能数据通过以下处理器性能指标被收集：
系统处理器队列长度
每秒钟的系统内容交换
总的中断时间
总的DPC时间
总的CPU利用率
内存
包括物理存储器、虚拟存储器（即页面文件）在内的存储器通过以下性能指标被监控：
可用存储空间（MB）；
每秒钟的页面交换；
页面文件利用百分率。
性能数据通过以下存储指标来收集：
确认使用的字节百分比；
可用的MB
每秒页面交换；
非页面字节存储池（默认被禁用）；
存储池页面字节（默认被禁用）
页面文件使用的百分率。
逻辑磁盘
逻辑磁盘的监控和性能数据收集以平均单次读取磁盘时间、平均单次写入磁盘时间以及单次传输磁盘时间来衡量。
物理磁盘
物理磁盘的监控与性能数据以平均单次读取磁盘时间、平均单次写入磁盘时间以及单次传输磁盘时间来衡量。
网络适配器
网络适配器通过每秒钟接受的字节数、每秒钟发送到字节数、每秒钟的总字节数来被监控。
同时，网络适配器的健康状态被评估而且如果连接则被设为“运行良好”如果连接中断则显示“受限制的连接或无连接”
关键进程
进程占用资源情况包括：
CPU、内存、IO的使用情况，以及进程使用句柄数、线程数等
对UNIX/Linux主机的监测包括如下性能指标：
处理器
CPU利用率
内存
内存使用率
内存剩余空间
逻辑磁盘
逻辑磁盘剩余空间
逻辑磁盘使用率
磁盘IO
传输速率
每秒读取字节数
每秒写入字节数
网络适配器
输入错误数据包数
输入总的数据包数
输出错误数据包数
输出总的数据包数
进程
系统中关键进程数量
系统中特定目录下文件数量
错误日志
系统中指定日志中的错误条数
进程排名
系统中CPU使用率第一的进程名
系统中CPU使用率第二的进程名
系统中CPU使用率第三的进程名
⏹数据库数据采集（及监控）
系统的数据库监测模块可以全面智能的监测企业数据库以及与数据库应用相关的服务。
系统对Oracle、SQLServer、DB2、Informix、Sybase、MySQL等主流数据库从可用性、系统资源占用和数据库性能指标三个方面提供全面的监测管理，确保数据库的正常运行。
系统的数据库性能监测模块能够连续地监控企业数据库的关键参数。
例如：
数据库系统设计的文件存储空间、系统资源的使用率、配置情况、数据库当前的各种锁资源情况、监控数据库进程的状态、进程所占内存空间、可用性等。
系统可以在服务中断时捕获问题信息，并且自动发送到告警控制台，使系统管理员能够及时采取措施，避免灾难性的事故。
系统的数据库监测模块是通过ODBC和OLEDB协议进行监测和采集数据的，具体原理如下图所示。
图系统数据库监测模块原理
系统对数据库监测提供了多层面立体矩阵式的解决方案，使监测更加准确，对数据库的监控包括如下指标：
数据库性能
CPU、内存使用状况
数据库缓冲池或者数据操作状况
游标使用状况
线程状况
打开的表数量
输入输出状况
。
。
。
表空间
表空间总大小
保留表空间大小
数据库使用大小
剩余表空间大小
。
。
。
死锁状况
死锁数量
总的锁数
独占锁数量
。
。
。
连接数
当前连接数
最大连接数
失败连接数
。
。
。
⏹存储设备数据采集（及监控）
系统可以对存储设备进行监控，主要包括：
IMB、HP、EMC、NetAPP等厂商的设备，监控方式主要是采用SNMP协议，监测的具体指标如下：
设备基本信息，包括处理器、磁盘、设备使用的端口信息等；
设备性能信息，包括磁盘的读写速率以及字节数，磁盘缓存性能，处理器状态、磁盘状态等数据；
其他方面，包括：
设备温度，风扇状态等。
本系统目前不支持HDS存储设备，但是可以根据用户要求定制开发。
⏹中间件数据采集（及监控）
系统可以对中间件进行监控，主要包括：
Microsoft.Net、BeaWeblogic、IBMWebsphere等，监控方式可以采用HTTP、SNMP或者WMI协议，监测的具体指标如下：
中间件服务器JMS状态信息，包括：
创建、发送、接收、读取等；
中间件连接状态信息，包括：
当前连接数、最大连接数、失败连接数等；
中间件队列以及线程状态信息，包括：
空闲线程数、队列中的请求数、队列中已处理请求数等；
中间件会话状态信息，包括：
当前打开的会话数、最高会话数、总的会话数等；
中间件事务状态信息，包括：
全局事务数、本地开始事务数、持续全局事务数、提交全局事务数等；
⏹其他数据采集（及监控）
系统还包括其他一些监测模块如网络设备、防火墙、大型主机、打印机等设备以及其他一些常规监测模块。
1）网络设备
系统可以从各个方面对网络设备进行监测和管理，内容包括网络设备的可用性、设备性能、接口流量管理和业务分析等等。
系统的网络设备管理系统支持的网络设备主要有各种类型的路由器、交换机、防火墙、以及其他启用了SNMP协议的相关设备。
SNMP协议是对网络设备进行监测和管理的标准协议，系统的网络监测模块的技术核心集中在使用SNMP协议对网络设备进行监测的实现，并且支持SNMP协议的V1、V2、V3三个版本。
通过SNMP协议系统中的网络设备监管模块提供的了极为广泛的监测范围。
系统不但提供了多种基于SNMP协议的监测模块，而且还提供了基于SNMP协议进行监测的标准接口模块，以满足网络设备的不同层次的监测需求。
通过该模块，管理员可以全面监测整个网络体系，例如网络的连通性及其网络设备的状态，如接口状态、接口流量、接口丢包率、路由器的CPU负载、内存使用率等。
该监测模块需要被监测的网络设备启用SNMP协议，系统通过发送Get请求并接收来自被监测的网络设备的响应，或者主动监听Trap消息接收端口并对Trap消息进行分析过滤。
下图为系统网络监测模块的工作原理。
图系统网络设备监测示意图
目前系统中可以监测的网络设备包括：
Cisco路由器、交换机，CiscoPix防火墙，Checkpoint防火墙，NetScreen防火墙，华为3Com路由器、交换机，Alteon路由器、交换机，Foundry路由器、交换机等等一些知名网络厂商的产品。
2）UPS、打印机以及大型机
系统还拥有APC、LibertUPS、HP打印机、AS400主机的监测模块。
1.1.2事件及警告管理
SCOM系统可以实现非常灵活的事件及警告管理功能。
在SCOM平台中对于事件告警管理采用如下流程：
事件收集－－事件分析――事件处理（警告）。
⏹事件收集
系统可以收集CSV格式的日志文件、文本文件格式的日志、NT事件日志、SNMP事件、SNMPTrap消息、Syslog、WMI事件，并且提供了基于SNMP、Socket、WMI等标准协议的采集接口，为用户提供了灵活的、可扩展的事件采集方式。
通过这些接口用户可以采集自定义事件而不需要进行二次开发。
⏹事件分析
系统对采集到的事件数据提供了分析规则，规则主要分为两种：
预定义规则、自定义规则。
预定义规则是指和管理包一起发布的，已经定义好的规则，自定义规则是指在预定义规则不能满足用户分析过滤的需求时，所提供的接口，通过使用自定义规则用户可以定制自己的事件分析规则。
事件分析规则主要由事件源、过滤条件、报警信息组成。
⏹事件处理（警告）
系统根据事件过滤表达式对事件进行过滤后，生成统一的事件格式并保存在系统的数据库中。
事件数据主要包括：
事件范围、级别、事件数据、消息、编号、事件参数等字段。
其中事件级别包括：
成功、信息、警告、错误、认证成功、认证失败六个级别，事件参数用于保存用户自定义的字段，并且支持多个自定义属性，事件数据展示时将以XML格式展现。
系统中的事件数据分别存储在运行时数据库和报表数据库，运行时数据库中的事件数据供实时查看使用，报表数据库中的事件数据为历史数据供生长报表以及分析时使用。
事件在处理过程中不进行事件压缩，而是只针对该事件产生的报警进行压缩和抑制。
当被监测对象和监测服务器之间的通信中断时，如果是采用代理方式监测，则产生的事件数据会保存在代理端，通信恢复时会自动上。
由于本系统支持Fail-Over（故障转移）功能，因此当主服务器发生故障时，系统所采集的事件数据会自动被提交到备份服务器中。
1.3云存储服务器软硬件资产及补丁管理
1.1.1软硬件资产变更管理
对于服务器的目前硬件配置现状的准确的收集以及展现，是服务器管理的重要方面，只有准确了解服务器的硬件配置状况，才能根据运维采集的性能趋势数据，准确制定硬件配置升级计划，通过硬件配置的记录，可以清晰地帮助IT管理员掌握全面的服务器硬件资产信息。
此外，对于服务器目前的软件配置状况，同样需要管理员通过自动化手段进行自动统计和配置记录。
以便与管理员了解服务器的具体应用部署情况，清晰的了解服务器目前所处的服务应用角色等信息。
此功能，可以通过SystemCenterConfigurationManager的资产管理功能来实现。
SCCM的软硬件资产管理功能是基于标准的硬件清单，即通过利用WindowsManagementInstrumentation（WMI），SCCM提高了清单扫描过程中客户端的性能并提供了一组更丰富的清单数据，其中包括BIOS和机架外壳数据。
目前可以支持超过130种WMI的类型，可以获取丰富和准确地信息。
而且SCCM可以提供灵活细致的清单。
尽管SCCM使企业能跟踪其服务器系统上几乎全部的软件资产，但通常企业会有特别重要或感兴趣的一组
升级会员 