基于刀片的信息服务系统解决方案.docx
《基于刀片的信息服务系统解决方案.docx》由会员分享，可在线阅读，更多相关《基于刀片的信息服务系统解决方案.docx（17页珍藏版）》请在冰豆网上搜索。
基于刀片的信息服务系统解决方案
基于刀片的信息服务系统解决方案
范玉峰、王宁
摘要：
信息服务系统是一个庞杂的系统工程，它需要各政府部门建立统一的信息服务平台（包括数据共享、公文传递、行政审批、信息汇总、决策辅助等功能）和专业性的子系统（包括财税、建设、公安、交通、农业等）。
一个完整的电子事务平台按应用的软件架构来划分信息发布层、应用逻辑层、数据层。
随着应用的计算密集度越来越高，以及对空间使用上的要求越来越苛刻，如果按传统的解决方案，无论是采用小机还是集群，对这三个层次进行计算资源分配或者硬件体系结构互联时，都会产生诸多问题。
用一种即能节约物理空间，又具有高效能计算的解决方案来取代传统的小机或者集群解决方案，是业界公认的信息服务系统未来建设的必由之路。
本文详细分析了传统的小型机及PC服务器集群在进行信息服务系统布曙时的局限性，并结合曙光TC2600刀片服务器的完美功能特性，给出曙光基于刀片的信息服务系统解决方案。
利用此方案，用户可以更加灵活、高效、特色鲜明的布曙自己的信息服务系统，实现对各层次硬件结构的无缝整合，实现对计算与空间的充分结合。
关键词：
TC2600刀片服务器；信息服务；并行数据库；集群；IB；ORACLERAC
1信息服务系统概述
信息服务是指政府机构运用现代网络通信及计算机技术，将其内部和外部的管理和服务职能进行精简、优化、整合、重组后通过网络实现，打破时间、空间、以及部门的逻辑分隔制约，通过综合科学的分析系统运作为决策提供参考依据，同时为社会大众及自身提供一体化的高效、优质、廉洁的管理和服务。
降低管理成本，提高工作效率。
信息服务建设是我国政府部门适应国际形势、适应我国经济建设与社会发展的需要。
信息服务系统按照功能模块来分，可以分为三类，即：
信息处理模块、应用模块、数据处理模块
1.1信息处理模块：
以网络技术为基础，以非结构化数据信息流为主要处理和存储对象，连接内部已有和新建的信息系统，充分利用Internet构建“虚拟政府”，大力推动政府部门之间的协同工作机制和信息资源共享，并向大众提供统一的政务服务。
1.2应用模块
基于网络的分布式政府架构，不但实现数据处理和综合信息处理，还能实现对政府部门管理进行知识搜集、分析、传递和利用，将知识管理与政务业务的流程有机结合，为政务管理提供决策参考，建立一个多元化政府信息支撑/决策分析平台，通过对政务业务流程中的无序知识进行系统化管理，实现知识的充分利用，从客观上促进政府部门改变自身的信息管理，不断提高决策和管理效率。
1.3数据处理模块：
政府内部办公自动化OA系统、管理信息系统，通过基于文件系统和数据库的综合运用，以结构化数据为存储和处理的对象，重点强调对数据的计算和处理能力，实现数据统计和日常文档处理的电子化，实现公务员个体工作的无纸化办公。
典型的信息服务系统架构如下图所示
2信息服务系统对硬件平台的要求
2.1信息服务系统对信息发布模块的要求
由于Web服务器为其用户提供的数据类型通常都是机密的，因此，对安全性要求很高，而在处理能力的要求方面，由于静态Web目录页面与大多数要求根据需要进行更新的动态页面相比，例如像微软的ActiveServerPages（ASP），对CPU的处理能力要求较低，但由于此模块负责整个信息服务系统网络流量的接入及输出，选择Web服务器首先要考虑的部件是多网卡优化和高速磁盘I/O的优化。
2.2信息服务系统对应用处理模块的要求
应用服务器把数据库与信息发布模块连接在一起，应用服务器是在底层通信平台的基础上搭建的，针对一个具体的应用，它必须包括支持底层异构网络之间相互通信容器系统，为上层各种对象提供构件化运行环境支撑工具，为网络应用提供开发、部署与管理工具公共服务的工具等，除提供应用服务器自身所需的系统服务外，还要负责与数据库之间进行数据的转换，因此在信息服务系统中，要求应用处理模块必须具备高效的处理能力及高速的网络带宽及快速的磁盘I/O性能
2.3信息服务系统对数据处理模块的要求
数据库系统是信息服务系统性能得以保证的关键，应用处理模块中的一切数据库访问都来源于数据库系统，目前信息服务中通用的技术是采用并行数据库系统，如ORACLERAC并行数据库系统，除了要求参加并行数据库中的单个节点具备快速的处理能力以外，还要求节点间以高速互联网络连接，以保证各结点更新、交换、查询共享缓存数据时的高效。
3传统的小型机、集群解决方案的缺点及问题
3.1小型机信息服务应用的局限性
小型机在单机的处理能力上，存在着无与伦比的优势，这个优势使其在处理单一应用时，表现出来的性能的确比较优异，但在面对层次比较多、应用比较复杂、对资源分配要求比较灵活的大型综合系统时，其弱点也逐渐表现出来，主要在如下两个方面
3.1.1LPAR的资源分配不能应对大规模、多层次的应用模式
在主机或小型机系统中，常常需要对系统分区，或者将应用或应用模块在不同数据库之间分段。
系统分区和应用分段是一项艰难的任务，它很难适应系统需求和工作负载的变化趋势。
小型机典型的资源分配方式是用逻辑分区分配的，当在一台小机型上运行相关的应用时，比如WEB服务及应用逻辑，他们之间的通讯要先后四将通过逻辑层，当应用层次更多时，这个层次的通讯会更频繁，对系统处理能力影响将变的越来越大，使整个系统的处理效率变的越来越低。
有测试表明，当在一台16处理器的小型机同时处理三个层次的综合应用时，其表现出来的性能仅相当于独立的12个处理器表现出来的性能。
3.1.2小型机扩展能力有限、升级成本高，性价比差
在信息服务系统中，各个层次的资源需求会随着应用的发展而逐渐增加，当小型机的处理能力不足时，只能采用扩展系统硬件资源，如处理器、内存等，但由于小型机的单机扩展能力有限，当应用的资源需求超越小型机的极限时，小型机就变得无能为力。
另外小型机的部件都是专有部件，价格比较昂贵，导致小型机的性价比比较差。
3.2PC服务器集群体的优势及存在的问题
3.2.1有效解决小型机在大规模数据库应用时的局限性
对小型机而言，大部分为64位的架构，内存寻址空间早已经突破了4G的限制，但是小型机通常采用共享内存的方式，因此在扩展性上遇到了极大的技术难题，或者说小型机当CPU数较多，内存较大的情况下，内存访问的性能会有所下降。
对集群系统而言，以前的服务器都是32位架构，最大只有4G的内存寻址空间。
但是随着技术的发展，64位CPU架构在2004年已经成为主流技术，所以现在的64位集群系统很适合数据库的应用。
综上所述，小型机在以前数据库系统应用中具有很强的能力，但是随着系统规模的扩大，集群系统将呈现不可替代的趋势，并且伴随着集群系统节点机的64位寻址能力的成熟，集群系统成为取代小机来进行大规模并行数据库处理最为理想的方式。
集群在具有小型机无法比拟的优势的同时，也有自己的局限性
3.2.2集群环境搭建时复杂度高，布曙难道加大
由于集群是采用PC服务器做为功能节点，每个节点都有自己一套独力的输入及IO子系统，比如电源、网络、键盘、鼠标、显示器等，当节点数目增多时，系统的布线会变成为阻碍系统进一步扩大的难题，即使布曙成功，对于管理集群系统的管理员来说，也会变得相当困难。
另外由于系统线缆太多，整个系统的故障点会增多，排查起来也会成为管理员比较头痛的事，这些问题，成为集群系统务必要解决的问题
3.2.3PCI总线不能充分发挥高速互联设备的性能
虽然目前高速互联设备发展极其讯速，比如IB设备的带宽已经达到30Gb/s,但是这些设备与主机相连时，仍然是通过主机的PCI插槽，目前PCI的传输速率还远远低于这个速度，导致在做大规划并行应用时力不从心，如ORACLERAC并行数据库集群时，节点间的数据通讯会给PCI带来巨大的压力
4并行数据库系统发展对体系结构产生的要求
信息服务应用中，数据库系统是重中之重，大型关系型并行数据库的产生，使集群技术在数据库领域中代替性价比差的小型机成为可能。
在大型关系型并行数据库中，以ORACLERAC最为具有代表性，在实际的信息服务应用中，占有的市场份额也最高。
硬件系统体系结构与ORACLERAC系统对硬件系统要求的吻合程度，也成为衡量一个信息服务平台最重要的部分
4.1并行数据库的发展
4.1.1ORACLE RAC概念
RAC（RealApplicationCluster，真正应用集群）是Oracle数据库中采用的一项新技术，也是Oracle数据库支持网格计算环境的核心技术。
它的出现解决了传统数据库应用中面临的一个重要问题：
高性能、高可伸缩性与低价格之间的矛盾。
OracleRAC（RealApplicationClusters）与其它并行数据库最大的不同点在于集群中所有服务器都可以直接访问数据库中的所有数据，其他的数据库在开放系统中都做不到这点，正是由于这个原因，可以非常方便地根据需求随时增加服务器来扩充您的系统，无需重新分布数据和应用。
RAC象一个单一的系统一样工作，任何节点的故障都不会影响其他节点对数据的访问。
所以说增加服务器就增加了系统的可靠性。
另外一点，对用户来说RAC是一个数据库系统，对它的维护管理如同单机一样简单方便。
4.1.2ORACLE RAC技术探索
下图显示了OracleRAC10g配置的主要组件。
集群中的节点通常是单独的服务器（主机）。
硬件
在硬件级别上，RAC集群中的各节点共享三种功能：
1.对共享磁盘存储的访问
2.与专用网络的连接
3.对公共网络的访问。
共享磁盘存储
OracleRAC依赖于一个共享磁盘体系结构。
数据库文件、联机重做日志和数据库的控制文件必须都能为集群中的每个节点所访问。
共享磁盘还存储OracleClusterRegistry和VotingDisk（稍后讨论）。
配置共享存储有多种方法，包括直接连接磁盘（通常是使用铜缆或光纤的SCSI）、存储区域网（SAN）和网络连接存储（NAS）。
专用网络
每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联（HSI）。
Oracle的CacheFusion技术使用这种网络将每个主机的物理内存（RAM）有效地组合成一个高速缓存。
OracleCacheFusion通过在专用网络上传输某个Oracle实例高速缓存中存储的数据允许其他任何实例访问这些数据。
它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。
专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为OracleRAC设计的低延迟、高带宽的专有解决方案。
Linux还提供一种将多个物理NIC绑定为一个虚拟NIC的方法（此处不涉及）来增加带宽和提高可用性。
公共网络
为维持高可用性，为每个集群节点分配了一个虚拟IP地址（VIP）。
如果主机发生故障，则可以将故障节点的IP地址重新分配给一个可用节点，从而允许应用程序通过相同的IP地址继续访问数据库。
Oracle集群就绪服务
OracleRAC10g引进了Oracle集群就绪服务（CRS）—一组用于集群环境的与平台无关的系统服务。
在RAC和Oracle并行服务器先前版本中，Oracle依靠厂商提供的集群管理软件来提供这些服务。
虽然CRS与厂商供应的集群件协同工作，但OracleRAC10g所需组件只是CRS。
实际上，必须在安装RAC之前安装CRS。
CRS维护着两个文件：
OracleClusterRegistry（OCR）和VotingDisk。
OCR和VotingDisk必须以原始分区或集群文件系统文件的形式存在于共享磁盘上。
OracleRAC软件
OracleRAC10g软件是RAC数据库的核心，每个集群节点上都必须安装。
幸运的是，OracleUniversalInstaller（OUI）可以完成在每个节点上安装RAC软件的大部分工作。
您只需在一个节点上安装RAC—OUI会完成其余的工作。
Oracle自动存储管理（ASM）
ASM是Oracle数据库10g中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件RAID。
OracleASM可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡I/O以删除“热点”。
它还支持直接和异步的I/O，并使用Oracle9i中引入的Oracle数据管理器API（简化的I/O系统调用接口）。
OracleASM不是通用的文件系统，只能用于Oracle数据文件、重做日志、控制文件和RMAN快速恢复区。
ASM中的文件既可以由数据库自动创建和命名（使用Oracle管理文件特性），也可以由DBA手动创建和命名。
由于操作系统无法访问ASM中存储的文件，因此对使用ASM文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器（RMAN）。
ASM作为单独的Oracle实例实施，只有它在运行时其他数据库才能访问它。
ASM需要的内存不多：
对大部分系统来说只需64MB。
在OracleRAC环境中，ASM实例必须运行在每个集群节点上。
4.2ORACLE RAC并行数据库性能发挥对硬件体系结构的要求
4.2.1高速密集处理
数据库的性能依赖高速的数据处理能力，如果采用IA架构的服务器，达到相当的处理能力，其处理器的数目通常是AMD架构服务器的1.5倍左右，处理器数目的增多，性价比变差的同时，会要求服务器的空间变大，导致空间利用率变低
4.2.2高速IO系统
RAC并行数据库系统建立的初衷加快数据库服务器的响应速度，缩小客户端用户的数据访问时间。
随着RAC数据库应用的逐步升级，持续、频繁、并发的数据访问以及复杂的数据操作，无疑会给后端数据库服务器带来巨大的压力。
对于传统的服务器来说，处理器处理能力的限制以及I/O吞吐带宽的限制会严重影响到数据库服务器的对数据服务请求的响应速度。
4.2.3硬件要能承受住高并发访问
随着越来越多的业务开始移交给计算机来处理以及越来越多的数据通过计算机来存储，事务的并发处理也越来越频繁的应用在高端商用数据库领域。
保障后端数据库系统的健壮性和增强数据库的并发持续访问能力，也逐渐成为RAC对硬件系统的基本要求。
4.2.4高可管理性
如何有效地降低系统管理的复杂度和强度，寻求企业投入与产出的最佳平衡点，也逐渐成为高端商用数据库用户关注的焦点。
随着业务的日新月异以及数据库应用的日趋复杂化，传统的服务器已无法胜任复杂多样的业务变化。
如果只简单依靠增加设备量来解决这个问题，随着设备量的增加、应用的复杂化，硬件的管理、系统的管理、应用的管理随之也变得复杂，这不仅给管理员带来许多管理上的不便，还带来了许多兼容性和可靠性的问题，企业也不得不为获得系统的易管理性追加更多的投入。
4.2.5硬件复杂度低，易实施
目前集群系统在拥有高可扩展性、高性价比等诸多优点的同时，也有必须要解决的总是，那就是硬件复杂度过高，线缆众多，导致实施起来在硬件层次的架设上比较困难，信息服务集群要想高效运行，必须降低硬件复杂度，且实施起来较容易。
5曙光TC2600刀片服务器介绍及技术特点
5.1曙光TC2600刀片服务器介绍
TC2600刀片服务器是曙光公司研发的第三代双核/四核刀片服务器产品，它在众多方面超越了传统机架式服务器，是高稳定、高可用、高扩展、高密度、高性能的新一代服务器产品。
它推动服务器向更高计算密度、更多集成功能和更强管理能力的方向发展，提供更加卓越的计算处理性能、简单方便的部署使用和全方位的监控管理，可以显著提高数据中心和高性能计算中心的生产率和工作效率，最大限度地降低IT运营和管理维护成本。
它采用整体优化的策略，有效降低了系统功耗，再加上其人性化的设计、超强的系统扩展能力、卓越的性价比和计算密度，可以覆盖更广泛的用户需求。
与传统的服务器相比，TC2600刀片服务器可提供更有竞争力的整体解决方案，是满足更高计算性能需求和运行关键应用程序的理想平台。
5.2曙光TC2600刀片服务器技术特点
5.2.1模块化的设计
模块化的设计整合了服务器、KVM、电源、网络及散热系统于统一的智能管理平台之上，紧密融合形成了高效的TC2600刀片服务器体系结构；
5.2.2高密度
TC2600降低了高性能计算中心、数据中心对于空间的要求，只占7U机架空间的刀片机箱最多容纳10个刀片，仅需要传统解决方案70%的机架空间；
5.2.3高计算能力
TC2600大幅增加了计算密集性，与传统解决方案相比，同样的机架空间可以多提供42.8%的计算处理能力；
5.2.4降低复杂度
TC2600通过对各功能模块的整合，显著减少了连接线缆的数量，有效降低了各系统连接和集成的复杂度，仅冗余电源、KVM和网络三项，就节省了86％的线缆；
5.2.5简化使用和管理
管理复杂度的降低可以极大地加快大规模系统部署和性能调优的速度，非常有助于简化系统管理，最大限度地提高IT人员的工作效率；
5.2.6升级方便
用户可以根据业务需求的变化，动态调整刀片服务器系统的配置，产品升级简单便利、经济高效；
5.2.7降低总拥有成本
简便、集中、有效的管理，针对客户需求的动态适应，电源和散热策略的自动优化，空间的节省，部署效率的提升，都有助于降低用户的总拥有成本。
5.3TC2600的技术优势
5.3.1部署简化
曙光刀片服务器在部署方面、安装维护过程大大简化：
由于所有计算刀片通过背板实现互联，而背板在与网络交换模块，存储交换模块以及监控管理模块互联，而这些互联完全是通过PCB布线完成的。
这样做的至少有四点：
Ø大量节省电缆线的成本；
Ø对于安装过程而言，可以节省了传统机架式服务器的外部多如牛毛的布线工作，节省大量工作时间，降低安装成本；
Ø有效的降低系统由于接入问题（虚接、错节）而引起的不稳定性因素，从而提高系统的稳定性与可靠性；
Ø对于更换节点的维护工作而言，比传统的方便了许多。
更换工作只是把旧刀片从机箱中拔出来，插入新刀片，就像更换热插拔硬盘一样方便，而不用考虑网络与光纤的再连接，对于传统的机架式服务器而言这也是一个比较繁琐的工作。
5.3.2集成管理，便捷维护
曙光刀片服务器管理监控高度集成：
通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。
管理系统整合目前两大监控技术，即IPMI以及KVM（OverIP），真正实现监视控制一体化。
同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。
曙光刀片服务器监控管理系统实现以下功能，分别为：
Ø对各部件的在线检测，工作状态监控，通过检测得知当前工作情况；
Ø优异的电源管理策略，以及功率管理策略；
Ø智能冷却系统管理策略；
Ø刀片健康信息监测，系统资源监测；
Ø实现所有本地控制操作，如KVM、ShareMedia、各部件上下电管理；
Ø实现所有远程控制操作，如IPKVM、VirtualMedia、部件远程上下电控制；
Ø良好的人机交互界面，实现多元化报警、提供日志、数据分析、实现用户管理策略定制和部件故障预报警；
Ø管理系统支持冗余，通过心跳实现监测和切换；
Ø为其它管理软件提供通讯接口。
其中真正解决计算刀片远程管理的主要依靠KVMoverIP以及VirtualMedia两项技术。
所谓KVMOverIP，指透过Internet环境，以TCP/IP网络为接口传送视频信息，并远程操控散布在各地机房中的服务器的解决方案。
相对于模拟式KVM，KVMoverIP技术提供了相对弹性的管理方案，网管人员可以在全球任何地方，透过TCP/IP网络来远程管理任何机房中的刀片服务器。
基于IP的数字化KVM系统作为向标准化和灵活的集中化迈进的一部分，不仅克服了传统模拟KVM系统的局限性，也为管理不同种类的分布式网络提供了可能。
KVMoverIP系统，充分利用了现有的以太网和其他IP网络，取代了对专用电缆和信号系统的依赖。
为确保路由能力，KVM系统必须使用真正的IP协议，而不是仅仅将IP网络用来传输专用模拟信号。
ShareMedia以及VirtualMedia技术则实现了USB共享及远程化，即在远程通过一台主机连接到管理系统的网络，而不是计算刀片的网络，把远程机器的存储介质通过管理网络映射成计算刀片的USB设备，实现远程的系统安装，软件拷贝等。
配合KVMoverIP以及virtualMedia技术可以透过网络远程实现在本地刀片所有的操作，例如开关机、操作鼠标、键盘、显示器，安装各种软件等。
采用曙光刀片服务器可以大大降低部署工作及其成本，而采用曙光刀片服务器监控管理系统则可以把管理员从机房解放出来，在远程进行所有的管理工作，大大降低系统的维护成本。
5.3.3节能设计提高能耗比
为降低功耗，曙光刀片服务器采用先进的多渠道节能技术，主要体现在2个层面：
根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。
系统充分对功率部分进行设计，设计分成静态功率设计及动态功率设计，控制方式如下：
第一，在对第一个刀片上电时，并没有作功率计算，是建立在一个电源模块能够支持至少一个刀片服务器和所有其他辅助模块的假设前提下，如果这个假设不成立则需要在第一个刀片上电前进行计算；第二，对于功率分配计算分为两步，第一步是上电前的电源功率预分配，在这一步功能模块是把自身在固定Flash中存储的最大满配情况的功率需求发送给管理模块进行审批（满配并不代表实际配置），等刀片完成了BIOS自检之后还要提交电源功率实际分配的申请给管理模块，这是第二步电源分配的结果。
例如，根据不同的配置刀片中可以插入8条内存、4条内存、2条内存或者两块硬盘或者一块硬盘，甚至将来的单双CPU不同，以上情况功耗有明显差异。
通过这种两步电源分配的策略，一方面可以保证刀片不会误上电（最大满配功耗），另外一方面可以保证功耗使用的精确性，使功耗分配更加合理。
修改计算刀片操作系统内核，实现节能
更改操作系统内核，优化程序执行队列或者根据负载情况动态调整CPU频率。
主要原理是对CPU的运行状态进行计算，分析任务队列，对不同时刻进行功耗计算，同时建立一些CPU散热器的散热模型，在工作过程中，尽量把功耗高的任务与功耗低的任务交叉进行，这样可以保持CPU在稳定的负载下运行，减少热能的散发并提高运行效率。
同时，当发现CPU任务队列对功耗需求较低，则通过BI/OS接口进行CPU功率的动态调整，比如一个刀片，CPU为AMD2218，主频为2.6GHZ，在CPU任务队列较少的时候，就可以根据任务需要把服务器的CPU从3.0Ghz调整倒一个比较低的频率，这样就可以使CPU的功耗大大降低。
5.3.4先进的散热设计
刀片服务器设计的障碍主要有散热问题以及对工业标准件的支持问题，例如市场上许多厂家的刀片服务器要求采用低电压的CPU，非标准的内存，非标准的I/O卡。
曙光刀片服务器首先确定科学的系统架构（7U10片，每个刀片宽度类似1U服务器），保证系统散热和计算密度达到平衡。
系统专用散热通道设计：
为了满足超高密的系统散热要求，在TC2600服务器内部设计了多处专用散热通道，每个通道保障不同部件的散热。
通过独立散
升级会员 