杭州市西湖区云计算数据中心可行性研究报告.docx
《杭州市西湖区云计算数据中心可行性研究报告.docx》由会员分享，可在线阅读，更多相关《杭州市西湖区云计算数据中心可行性研究报告.docx（44页珍藏版）》请在冰豆网上搜索。
杭州市西湖区云计算数据中心可行性研究报告
杭州西湖区云计算数据中心项目可研报告
二〇一一年十月
第1章、总论
1.1概述
今年是"十二五"计划的第一年，在"十二五"期间我们预期杭州、浙江乃至其他周边区域进一步发展高新产业园、大力扶持高新企业，在这样的大背景下必将有很多政府、企业眼光转向云计算服务平台寻求从外部快速、低成本地获取IT资源和管理能力而不只是采用自己搭建IT平台这一缓慢的办法。
受政策和数据安全方面的约束，政府和企业不能或不会考虑国外的公有云平台和混合云平台。
而目前在国内，进入云计算的企业由于其自身能力的限制大多仍然停留在云计算的底层设施（硬件、存储、网络）及其基本软件的层级，很少能够有能力建立自有知识产权的可以容易被用户使用的面向服务的云计算平台。
1.2建设背景
2010年10月，国家发改委、工业和信息化部下发《关于做好云计算服务创新发展试点示范工作的通知》，选择在北京、上海、深圳、杭州、无锡等五个城市开展云计算创新发展试点示范工作，《通知》要求云计算创新发展试点示范工作要与区域产业发展优势相结合，推动国内信息服务企业针对政府、大中小企业和个人等不同用户需求，积极探索各类云计算服务；以企业为主体，产学研用联合，加强云计算核心技术研发和产业化；推进云计算中心（平台）建设，为提升信息服务水平、培育战略性新兴产业、调整经济结构、转变发展方式提供有力支撑。
“十二五”期间，我市电子商务建设的主要目标是：
建成标准统一、功能完善、安全可靠的政务信息平台，发挥支持作用；重点业务系统建设取得显著成效；基础性、战略性政务信息库建设取得重大进展，数据资源共享程度明显提高；初步形成电子商务网络与信息安全保障体系，建立规范的培训制度，与电子商务相关的法规和标准逐步完善。
1.3建设必要性和可行性
IDC预计，从2009年底到2013年底，四年期间，云计算将为全球带来8000亿美元的新业务收入，其中为中国带来超过11050亿人民币约合1590亿美元的新净业务收入。
2011年1月18日，在宁召开的“打造中国云―云计算促进产业转型升级”研讨会中国工程院院士、云计算专家李德毅报告中指出“云计算是物联网发展的基石。
在中国，云计算已经走过概念炒作阶段，进入实际应用部署的阶段。
”未来3年，云计算应用将以政府、电信、教育、医疗、金融、石油石化和电力等行业为重点，在中国市场逐步被越来越多的企业和机构采用，市场规模也将从2009年的92亿元增长到2012年的606亿元。
1.4建设目标与任务
数据中心的建设是为了解决政府部门间信息共享，实现业务部门之间的数据交换与数据共享，促进杭州市电子商务的发展。
具体目标如下：
建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
（一）建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现社会保障数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
（二）建立全市自然人、法人、公共信息库等共享数据库，为宏观决策提供数据支持。
对基础数据进行集中管理，保证基础数据的一致性、准确性和完整性，为各业务部门提供基础数据支持；
（三）建立数据交换共享和更新维护机制。
实现各业务部门之间的数据交换与共享，以及基础数据的标准化、一致化，保证相关数据的及时更新和安全管理，方便业务部门开展工作；
（四）建立数据共享和交换技术标准和相关管理规范，实现各部门业务应用系统的规范建设和业务协同；
（五）为公共服务中心提供数据服务支持，实现面向社会公众的一站式服务；
（六）根据统计数据标准汇集各业务部门的原始个案或统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，为领导决策提供数据支持；
（七）为监督部门提供必要的数据通道，方便实现对业务部门以及业务对象的监管，逐步实现有效的业务监管支持；
（八）为业务数据库的备份提供存储和备份手段支持，提高业务应用系统的可靠性。
第2章、需求分析
2.1用户需求
从与数据中心交互的组织机构、人员方面进行说明。
与数据中心交互的单位机构
各业务部门
通过接口系统向数据中心提供数据或使用数据中心提供的数据；业务部门之间可直接交换数据。
各业务系统单位
遵循标准规范进行业务系统建设和改造，实现业务系统与数据中心的对接。
与数据中心交互的人员
数据中心系统管理员
负责数据中心系统管理、监控、系统维护
数据中心数据管理员
负责数据的整理、比对、数据一致性的保证，并且与区县级数据中心、省数据中心数据管理员协同工作，执行数据标准。
业务部门数据管理员
一般与同级数据中心数据管理员协同工作
2.2数据需求
杭州市数据中心必须满足电子商务平台进行数据交换的需要，同时还必须满足在平台上建立的各业务系统进行综合业务处理的要求。
为门户系统提供各种静态和动态的数据、信息。
所谓静态信息是指对电子商务的运行中不经常变化，供各个业务系统查询、处理的数据或信息：
政策、法规、元数据、资料库、各种多媒体数据等，它们会随着时间而逐步增大。
所谓动态数据是指随着运行而增加、修改的数据：
并联审批中文件流转状态数据，反映企业、个人所处状态的数据，国民经济运行状态的数据等。
动态数据同各个局委办的信息密切相关，但又是面向主题的，如XX市社会保险这个主题，实际上同保险、工资、税务和银行密切相关；个人信用使用主题，它的数据与银行、税务、个人消费、个人收入密切相关。
而数据仓库显然也有面向主题的定义，但这些主题是较长时间的，具有战略定义的主题。
因此，数据中心的建设，首先要解决数据库异构信息类型的分类存储和检索体系以及针对不同类型数据模型的设计这一基本问题。
另一方面，数据中心管理着大量的结构化和非结构化信息。
所谓非结构化信息，是相对于那些有清晰的结构和类型定义以及有数据相关性的明确描述的信息类型而言的。
比如，在财税分析系统中，财政收支情况的月度数据，可以理解为一种有清晰结构的信息；而一份综合性包含了文字、报表、分析图形的财政收支分析报告则是一种非结构化的信息。
网站上发布的信息，如新闻动态、政务公开等等，一般也是非结构化的信息。
此外，非结构化信息中还包括了一类对象数据信息。
所谓对象数据信息，是指一个包含了内敛结构的专门数据块，这个数据块单独无法建立与别的数据项的关联关系，并且需要工作在特定的工作模块下。
比如：
GIS空间定义信息数据、多媒体的声像数据等，均为对象类型的数据。
在政府决策应用中，非结构化信息将占到相当的比例。
所有的政府文件均属于非结构化信息，政策法规属于非结构化信息，一些决策分析的综合性资料也是非结构化信息。
与结构化信息相比，非结构化信息的管理利用存在一些难点，就是：
（1）定义管理的难度
“非结构”化表明了没有一种像关系数据库规范那样的定义模型来对非结构化信息进行定义管理。
虽然你可以强制对一个非结构化的信息块进行解构，将其分成类似头、中、尾这样的半结构。
但是这种解构只有在制定了具有普遍含义的结构描述定义后才有真正的意义。
对非结构化信息进行定义管理的另一个难点在于数据元类型无法穷举。
不象关系型数据系统中，对数据元类型有完整清晰的定义。
在非结构化信息中，包含了错综复杂的数据元类型。
比如，仅文档类型就包括Text、Word、PDF、Excel、WordPro等等，还有各种图片文件格式、多媒体压缩信息格式等等。
此外，在象网页这样的非结构化信息中，所有的信息都是文字类型，设定时间、数字等类型的信息元并不具有运算上的意义。
（2）存储管理的难度
对信息进行存储管理的前提是能够建立有效的数据定义，然后才能进行非结构化信息的组织存放。
而前面已经提到了在非结构化信息的数据定义方面存在的难度，因此也就造成了在非结构化信息存储管理方面的困难。
当然，对非结构化信息最简单的存储方式是直接存放在文件系统中。
这样做避免了依据主题等分类因素对非结构化信息进行管理的问题，但也是最最低效的一种存储管理方式。
在非结构化信息的存储管理中还涉及到一个问题，由于这些信息元（如果对非结构化信息进行一定的半结构化处理后）的数据可能来自关系型数据系统（比如Oracle）、对象数据系统（多媒体数据或空间数据）乃至文档数据系统（比如Notes），所以一个非结构化信息的存储管理系统将充当一个数据的汇整者，需要具备联合各个外部数据系统的功能。
缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索。
（3）信息检索的难度
由于不能像关系数据库那样建立起清晰定义的数据主题，非结构化信息的检索依照的只能是机械的全文内容检索。
这是对信息检索非常不利的一点。
虽然对信息内容的全文检索可以做到资料检索的遍历，但其检索的效率和命中率是很低的。
由于不象关系数据库那样有一种象SQL（结构化查询语言）那样强大的关联检索工具，并且在定义数据时也没有建立数据项之间的关联关系，要具有针对性地查询非结构化信息的内容，必须要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能内容，才可能提高信息检索的强度和效率。
但另一方面讲，一种专用于理解特定非结构化信息类型的处理模块，无论在运行效率还是在可维护性上，都是非常不现实的。
非结构化信息检索的另一个难度也是与数据元类型的多样性有关的。
比如，不同的
文档类型结构需要不同的全文索引工作模块。
这也无形中加大了对非结构化信息进行检索的难度。
因此，数据中心的建设，还必须从技术体系上解决如何对非结构化信息进行有效定义、有效管理和有效利用的基本问题。
2.3系统及应用需求分析
数据中心的主要业务包括：
Ø从基层或业务部门采集数据，包括基础数据和部分共享业务数据，支持基础
和共享数据的更新维护模式；
Ø对采集到的数据进行校验和比对，发现冲突时按照共同制订的数据处理规范进行处理，保证数据的一致性和准确性；
Ø受理业务部门或基层单位的基础数据使用申请；
Ø将整理后的基础数据分发或按需提供给有关部门或单位使用；
Ø以中介的方式处理共享业务数据使用申请，并进行备案；
Ø对共享业务数据在征得业务部门同意的情况，通过数据中心进行存储转发；
Ø将共享元数据的信息发布给各业务部门，提供浏览与订阅申请，方便其共享必要信息；
Ø提供数据交换平台和接口系统，使数据中心与各部门的数据管理员可以对共
Ø享和交换过程进行管理；
Ø通过数据交换平台存储和管理公共服务数据，并与外网同步，提供一站式服务；
Ø存储和管理统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，对数据进行统计和分析，方便领导及时掌握有关情况。
Ø定期对业务数据库进行容灾备份；
Ø与此相对应，业务部门与数据中心发生的相关业务包括：
Ø提供数据或共享元数据给数据中心；
Ø申请使用数据中心的基础数据，校准本单位的基础数据；
Ø通过数据中心提供的共享元数据信息获取其他单位的数据；
Ø审批其他单位的业务数据使用申请，并将数据提供出去；
Ø与数据中心交换公共服务数据；
Ø提供监督部门直接访问业务数据库的通道；
Ø提供统计分析数据或原始个案给数据中心，方便主管领导查询；
Ø定期将业务数据库备份到数据中心；
根据数据中心与各业务部门的主要业务，数据中心应提供如下功能：
2.3.1节点管理
实现与数据中心相连的各个节点的信息管理、配置管理，包括业务部门、区县数据中心等。
2.3.2主题管理
数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行，因此必须实现对主题的管理。
主题是元数据的集合。
2.3.3元数据管理
元数据是关于数据的数据。
元数据描述了数据的结构和意义，同时也可以描述应用程序和流程的结构和意义。
构造数据中心数据库的重要步骤之一，就是定义和创建元数据（Metadata）。
元数据提供一个目录，列出数据中心有什么数据。
所有进入数据中心的数据，必须在元数据中有所表述。
数据中心的数据管理系统必须提供储存和管理元数据的方法。
以元数据管理为核心，建立数据中心的数据资源目录体系，提供给业务部门参考使用。
数据中心的元数据包括基础数据元和共享数据元，由数据中心统一管理。
基础数据元由数据中心定义，共享数据元由业务部门定义并注册到数据中心。
业务部门进入数据中心的元数据管理中心好比进了一个“超市”，可以方便地知道可以获取和使用哪些数据，并进行数据使用申请的定制。
2.3.4公共代码管理
对公共代码需要有统一的标准规范，数据中心必须提供公共代码的管理。
基于数据中心的公共代码规范，各部门和区县数据中心可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换。
2.3.5数据采集
与各业务部门形成数据采集机制，通过数据共享交换平台从各业务部门汇总数据，对原始数据进行缓存、存储。
2.3.6数据整理比对
从各业务部门采集共享数据后，进行数据转换，对全市自然人和法人基本数据进行数据比对、冲突检测处理并入库。
2.3.7数据交换
实现业务部门与数据中心之间以及业务部门之间的数据交换业务，形成高效、安全、可靠、稳定的数据交换网络。
提供定时批量、实时按需的数据交换，提供点对点、一对多的数据交换支持，对数据交换进行管理和监控。
2.3.8数据访问
在统一的权限管理系统之上，实现对自然人和法人的建档、调档、阅档等业务。
对社保卡系统、公共服务中心系统、业务系统提供数据访问。
对决策支持系统、业务监管提供数据支持。
2.3.9数据备份与恢复
恢复管理是对数据进行备份、导入导出以及数据库恢复等。
数据是数据中心核心的资源。
全面的容灾方式应该是数据备份+数据复制+远程容灾。
对系统中的数据要定期进行系统备份。
采用本地备份与异地备份相结合的方式。
2.3.10标准管理
进行数据中心的标准规范尤其是数据标准的审核制定、升级维护与发布实施等管理功能。
在数据中心的建立之初，由于标准规范处于不断完善的过程，应建立标准的版本管理机制，方便业务部门的查询和使用。
2.3.11应用支持
对相关业务应用系统、公共服务系统、业务监管系统和决策支持系统提供提供数据、通道和平台等支持。
2.3.12运行管理
为方便对数据中心的管理和维护，需要一套功能完整的运行管理与监控维护系统。
运行管理系统主要提供给数据中心的系统管理人员使用，用于保证数据中心的安全可靠和高效运行。
其功能主要包括面向安全性的用户管理、权限管理、密码管理和日志管理等；面向性能优化的性能监控等。
面向可用性的节点管理、交换规则管理和状态监控；其中节点管理包括对业务部门的信息管理。
2.4性能需求分析
2.4.1业务处理量分析
数据中心的主要业务包括：
（1）基础数据的采集、转换、比对以及分发
这是数据中心的主要负载压力所在。
（2）业务数据交换的备案或存储转发
在数据中心建设初期，业务数据在业务部门之间交换；当业务部门的接口系统难以承受数据交换的负载时，才可能通过数据中心存储转发。
所以这部分业务不会对负载造成负载压力。
（3）元数据库和公共代码库的管理和共享
由于元数据库和公共代码库相对稳定，并且数据量不是很大，所以不会对数据中心造成负载压力。
（4）与业务部门交换公共服务数据
由于业务不停地在发生，即使采用定时批量的交换方式，也会对数据中心造成较大的负载压力。
（5）汇集统计数据，并提供查询
统计数据一般按月提供，而且提交的一般为结果数据，在数据交换方面不会构成太大压力。
领导的数据查询会形成少量的负载。
（6）提供业务部门的容灾备份
容灾备份不需通过数据库服务器处理，所以不会对数据中心的负载构成压力。
数据中心的主要负载压力在于两个方面，一是基础数据的采集、维护和使用；二是数据中心与业务部门之间的公共服务数据交换。
下面我们分别进行分析。
基础数据的变动将引起数据中心的负载。
首先业务部门需将变动数据交换给数据中心，数据中心采集后进行转换和比对，然后进行发布，分发给有需要的部门使用。
数据中心提供对公共服务系统的支持。
各业务部门的公共服务业务数据通过统一的数据共享与交换平台即时或定时的交换到数据中心，保存到公共服务数据库。
再与外网的公共服务数据库同步。
估计数据中心采集一次数据变动相当于2笔数据库交易；进行转换和比对相当于3笔数据库交易，然后再将基础数据分发给10个左右的业务单位共享使用，每分发一次相当于1笔数据库交易。
根据我们以上对数据中心的变动次数的估计，每年的业务量约为：
（500+100）*（2+3+1*10）=9000万笔数据库交易。
按一年250个工作日，每个工作日8小时计算，每分钟的业务量约为：
9000万笔/（250*8*60）=750笔/分钟
依据“80-20”估算方法，峰值的业务处理量为：
3000笔/分钟。
2.5安全及保障机制需求分析
2.5.1系统安全可靠性需求
数据中心如果遇到破坏，或无法正常工作，将造成无法估量的损失。
需要保护的资源不仅有物理资源（设备、设施）、数据资源（数据、数据库软件等），而且还有网络资源（通信链路、网络接入等）。
2.5.2数据安全保密性需求
满足在数据存储、传输过程中的安全保密性需求。
社会保障工作中涉及大量的敏感数据，在其处理过程中，特别是与各级单位数据交换过程中，要进行数据加密传输和存储，要保证数据的安全保密性。
2.5.3数据完整性需求
满足在数据存储、传输过程中的完整性需求。
在内部要保证数据存储和传输过程中不被篡改和破坏；在与各级单位数据传输的过程中，要保证数据不被篡改和破坏。
2.5.4实体的可鉴别性需求
满足数据中心系统对用户及数据交换服务器的可鉴别性需求。
系统要实现监管及其他方面的需求，其必要条件是实现实体的可鉴别性，包括用户及数据交换服务器具有可鉴别性等。
2.5.5不可否认性需求
满足数据中心用户行为和系统行为不可抵赖性的需求。
用户每天都利用数据中心处理大量的事务，事务处理过程的可管理、效率的可审计、行为的可审计等，需要行为的不可抵赖性来解决，本项目建设中要保证在所有数据处理过程中，办公人员行为和系统行为的不可抵赖，以便审计和监督。
2.5.6对象和行为的可授权性需求
实现对数据资源的自主授权和访问控制的功能。
针对数据交换共享工作的特点，要求数据中心具有对对象灵活授权的功能，包括用户对用户的授权、系统对用户的授权、系统对系统的授权等，以及授权过程的审计监督。
2.5.7统一信任与授权策略需求
对于涉及十多个业务部门、若干业务系统的数据中心而言，安全性的实现不仅体现在各个部门、各个业务系统中，更重要的是在不同业务部门的不同系统实现互联后，如何保障数据、业务系统在互通后的信任、授权的一致性，因此在大社保系统中，必须建立统一的信任策略、授权策略，实现跨部门、跨系统的信任和授权服务的一致性，杜绝由于不同部门、不同业务系统不同的安全策略、不同的安全等级带来的安全漏洞和安全隐患。
2.5.8数据中心统一安全监管性需求
由于数据中心涉及政府多个部门，因此需要实现数据交换、共享过程的可管理，实现对内部和对各级单位相关的业务处理的可审计性；系统中有大量的数据交换服务器、维护终端、系统软件、网络设备等，为使这些资源协同工作，需要实现对实体（用户或数据交换服务器）进行统一的管理；系统需要对用户行为和系统行为进行记录和统计，对系统日志进行分析和统计，提供对用户和系统行为的审计监督。
这种统一的安全监管必须以可靠的技术和严格的管理来保证。
2.5.9保障机制需求分析
（一）制定《XX市政务数据资源目录管理办法》，重点说明政务数据资源目录体系和运行模式，明确提供方、使用方和管理方的职责分工。
提供方负责政务数据资源目录中本部门政务数据资源的编目、注册、维护等；管理方负责政务数据资源目录的审核、发布和管理，并负责政务数据资源目录管理服务系统的日常运行维护；使用方负责对获取的政务数据资源在授权范围内合法使用。
（二）制定《XX市数据中心实施指南》，重点说明指导管理人员如何通过政务数据资源目录管理服务系统开展日常业务和管理服务工作，以及指导政务部门通过数据中心系统建立和更新维护数据资源目录等。
（三）要结合本市特点和实际情况制订相关机制。
第3章、数据中心设计方案
3.1设计原则
3.1.1统一建设
数据中心必须统一规范建设。
通过制定统一的数据交换与共享标准，建设统一的数据共享与交换平台和统一的接口系统，可以避免重复投资，降低接口的复杂性，有效实现数据中心与业务部门以及业务部门之间的数据共享与数据交换，消除“信息孤岛”，实现数据资源的互联互通。
3.1.2相对独立
根据数据中心的功能定位，数据中心的建设和运作必须保持业务系统的相对独立性。
为此采用松散耦合方式，通过在业务部门统一配置接口系统实现数据资源整合。
3.1.3共建共享
一方面建设数据中心的目的是为了实现业务部门之间的数据共享。
另一方面，数据中心的数据来源于各个业务部门，因此数据中心的建设必须依靠各业务部门的积极参与和配合。
3.1.4安全可靠
数据中心的安全是非常重要必须要做好系统的安全设计，防范各种安全风险，确保数据中心能够安全可靠的运行。
同时数据中心必须采用成熟的技术和体系结构，采用高质量的产品，并且要具有一定的冗灾功能。
3.2数据中心平台设计
3.2.1平台总体架构
3.2.2数据资源规划
数据资源是数据中心最重要的资源。
数据中心的数据资源分布状态具有阶段性，每个阶段都对应数据资源整合的不同阶段，体现数据资源的管理集中、有机分布的特点。
根据“基于数据，围绕数据，面向数据”的建设思路，我们进行数据资源体系的总体规划，然后具体描述共享型的共享数据库、操作型的业务数据库和分析型的历史数据库这三类数据资源的构建、维护和使用。
3.2.2.1数据资源规划的总体思路
数据资源规划的总体思路主要包括如下几个方面：
Ø数据共享标准化
首先共享数据是标准的，其次共享的方法和途径是规范的。
目前各系统数据资源数据库已经有多种存在方式，要解决系统间信息的互连、互通、互操作，必须针对共享数据建立共同遵守的标准规范，只有编码是统一的、格式是统一的、数据交换的方式是统一的，才能保证数据是一致的，才能实现对数据交换和数据共享的有效管理。
Ø业务数据相对独立
各职能部门分管业务的范围和职责不同。
因此，系统在全局考虑、统一设计的同时，还要充分考虑不同业务部门自身的特点，在统一规划的前提下，保证支持不同业务活动的数据具有相对独立性，建立面向各部门进行联机事务处理的业务数据库。
Ø决策数据集成化
建设数据中心的另一个目的就是将各部门的业务结果数据有机地集成在一起，进行综合查询和统计分析，为各级领导的决策提供有力的数据支持。
3.2.2.2数据资源体系结构
数据中心数据资源体系结构
对公共服务系统、业务应用、决策分析提供支持，数据中心的数据库包含如
下内容：
Ø共享数据库，包含：
自然人基础数据、法人基础数据库、元数据库、标准代码库、共享业务数据（如果业务部门之间通过数据中心进行数据交换）。
Ø统计分析数据库，汇集各业务部门的统计分析数据，为决策提供数据支持。
Ø运行管理数据库，用于监控管理、节点管理、日志等。
Ø公共服务数据库，提供对公共服务系统的数据支持。
3.2.2.3共享数据一致性的保证
共享数据包括自然人和法人基础数据及其元数据和标准代码数据、共享业务数据。
共享数据一致性问题是数据中心面临的关键问题。
从范围上划分，共享数据包括基础数据，基础数据包含基准数据。
●基准数据
基准数据是指唯一表示自然人和法人的数据字段集合，自然人有身份证号码和姓名标识，法人有法人机构代码和名称标识。
基准数据主要来源是市公安局和市质监局。
基准数据必须保证在整个社会
升级会员 