集团大数据平台项目实施整体方案.docx

1、集团大数据平台项目实施整体方案集团大数据平台项目实施整体方案1.1项目实施总体目标我方承诺按照集团集团公司对项目建设的要求，认真研究调研，制定切实有效的实施方案，并根据实际情况，提交相应实施方案文档，其中技术文档内容主要包括项目需求分析文档、系统设计及技术文档、开发测试及部署规划、试点及系统上线规划及具体内容等。管理文档主要包括人员及组织管理、环境及资源需求计划、设备规划及使用、项目进度计划及里程碑管理、过程质量及风险控制计划以及培训交接计划等。我方将根据项目进度，及时分配调度充足人员入场，在甲方监督下，在符合相关监管部门的审计制度和集团内控审计要求的前提下，根据甲方工程实施计划及进度要求，完

2、成大数据平台的搭建、应用开发、联调测试、集成部署和培训等方面的工作。1.2项目管理项目管理由我方项目经理以及集团项目经理在所计划实施的项目过程中执行。工作范围确定项目计划、进行项目计划控制；监控项目状态、产生定期的项目状态报告；负责项目期间的沟通管理，召集并主持定期的项目状况会议；对项目范围、成本、风险、人力、干系人等进行全过程的管控；其它与项目相关的事务。我方的责任负责与本公司内部有关的协调工作；负责与集团的项目经理合作，共同负责项目中的协调工作；与集团的项目经理协调配合，完成以上项目管理工作。集团的责任负责与本公司内部有关的协调工作；负责与我方的项目经理合作，共同负责项目中的协调工作；与我

3、方的项目经理协调配合，完成以上项目管理工作。1.3业务确认工作范围业务需求确认，对大数据平台的业务需求结合当前实际业务情况进行确认。工作完成后需提交的结果集团大数据平台需求列表我方的责任指定相关业务/技术顾问和用户的相关业务部门进行业务确认、分析执行以上陈述的工作，并提交阶段性工作结果集团的责任指定参与业务需求确认的项目组和业务部门的相关人员协调业务需求确认确认过程中的业务人员、时间安排等有关事项对集团大数据平台业务需求列表进行确认1.4数据调研工作范围分析集团大数据平台需求列表，调查集团该期项目相关数据源情况，确定功能需求列表并编制功能规格说明书，分析数据工作完成后需提交的结果集团大数据平台

4、功能列表集团大数据平台需求功能规格说明书我方的责任进行集团大数据平台系统需求说明书和数据源信息的分析，确定功能需求列表，编制需求功能规格说明书提交功能需求列表、需求功能规格说明书集团的责任指定参与需求分析、数据源分析的项目组和业务部门的相关人员协调需求分析与数据调研过程中的业务人员、时间安排等有关事项提供进行数据源分析的相关信息签署最后形成的功能需求列表根据需要，决定是否进行并组织评审集团大数据平台需求功能规格说明书1.5系统设计阶段我方将配合甲方完成系统设计阶段的调研、座谈及总结工作，按照甲方要求认真做好需求分析工作、系统设计工作、模型设计工作等，尤其对于量收系统进行权限细致的摸查和汇总，梳

5、理系统各项应用及与其它系统接口，编写应用说明及接口规范，形成完整可行的迁移方案，将各方面工作内容形成文档或规范，提交甲方。工作范围：对量收系统进行详细摸查梳理；制定量收系统迁移部署方案；根据甲方业务需求和以往的经验，设计逻辑数据模型（LDM）；提交系统逻辑数据模型Erwin文件；进行逻辑数据模型的维护管理；基于所设计的逻辑数据模型，对物理数据模型进行设计；提交系统物理数据模型Erwin文件；进行相关知识、技术的转移；进行物理数据模型维护；按照业务需求，进行系统功能概要设计和详细设计；提交概要设计说明书；提交详细设计说明书；1.6集成部署阶段我方将根据需求及实际情况，完成软硬件集成方案的编写并完

6、成实施部署工作。工作范围：提供软硬件必要的选型测试及选型方案建议；编写软硬件集成及网络配置方案；对甲方采购的系统软硬件提供现场安装调试服务；对自有软件提供安装介质和授权许可证；1.7ETL过程设计工作范围1)本期项目所涉及的来自各业务系统的数据抽取（由各业务系统开发方负责）之后、为进行数据清洗、转换、质量检查、数据归并、加载等所必需的技术设计。2)大数据平台数据加工规则整理与确认3)进行源数据到物理表的映射4)设计数据转换与加载的规范，包括加载流程。5)设计ETL管理过程工作完成后需提交的结果ETL设计文档（包括数据清洗、转换、加载流程与加载程序设计等内容）我方的责任大数据平台数据加工规则整理

7、与确认设计来自各业务系统、其它数据源的数据的转换与加载规范，包括加载流程。设计ETL管理过程集团的责任协助设计数据的转换与加载规范，包括加载流程协助设计ETL管理过程1.8ETL开发与测试工作范围1）本期项目所涉及的、来自各业务系统的业务数据从数据源系统抽取之后、经过清洗、转换、质量检查、数据归并、加载所需要的开发，以及其它数据加工和全国中心、省中心功能所需要的后台开发2）加载管理流程开发3）修改、调整和测试ETL脚本工作完成后需提交的结果1）全部ETL程序/脚本文件2）加载有样本数据的数据库3）ETL流程管理控制我方的责任1）执行以上陈述的工作，提交阶段性工作结果2）进行有关ETL的知识转移

8、集团的责任1）按项目进度要求负责从各数据源系统抽取并提供样本数据（ASCII代码文本文件）2）协助并参与各业务系统抽取数据的质量检查3）协助并参与对数据的转换、加载规范的设计4）协助并参与对数据的转换、加载程序/脚本的开发5）协助并参与对加载了样本数据的数据库进行测试6）配合进行有关ETL的知识转移7）签署项目实施文件1.9系统开发阶段我方在项目实施中将依据需求及功能原型，采取快速迭代开发法进行系统开发。并在甲方参与情况下，依据开发计划及里程碑节点，对阶段交付成果进行审核和测试，识别出与进度计划及质量计划的偏差并加以修改。开发过程及开发环境全程向甲方开放，便于双方沟通交流，也便于项目技术、方法

9、及成果向甲方人员移交工作范围1）根据系统功能需求列表、需求功能规格说明书开发相关功能2）定期审核、修改、调整和测试功能3）提交全部功能的源代码和可执行代码4）进行大数据平台全部功能的开发和测试1.10系统测试阶段在系统开发阶段，我方将根据计划及实际进度，合理安排各阶段软件测试工作，包括功能测试、性能测试、集成测试及验收测试等。在设计及实施和阶段对于相应测试提交测试方案，规划好测试范围、参数、工具、测试方法、计划以及异常处理方法等内容，并在测试结束后提交包括测试方法、时间、过程、结果及结论等在内的测试报告。我方将根据ISO9000的相关标准向甲方提供以下系统测试相关文档测试计划：测试计划由甲方和

10、我方共同制定。包括：测试范围、参数、测试方法、计划以及异常处理方法等。系统测试计划得到甲方同意方可执行；测试设计：测试设计说明由测试员提供，为在项目设计阶段定义的软件需求规定测试方法和步骤，规定测试采用的工具。系统测试计划得到甲方同意方可执行。测试实例及说明：测试实例及说明由测试员提供，主要是对每一个测试实例规定输入、预期结果和实施条件；测试报告：测试报告由测试员提供，包括测试方法、时间、过程、结果及结论等内容，并要得到甲方的确认；此外，整个系统测试过程中遵守以下规定：测试员按测试规范进行测试，并把结果记录在系统测试结果表中；当修改软件以解决遇到的问题时，应遵照变更控制的流程进行；任何软件问题

11、被修改后，测试员和开发者合作制定下一轮测试计划，并确定哪些实例和规程将被重复；当所有的软件问题均被解决后，对测试的结果进行评审。1.11系统上线及验收由甲方和我方共同参与，组成项目验收小组，制定验收细则和验收方式，建立验收档案，主要内容包括验收内容、功能、测试结果、项目负责人、验收人等。如果某项功能或设备验收通过，项目负责人和验收人应签字认可。如果某项功能或设备验收未通过，应记录下原因并且提出整改措施。依据合同的有关规定，对系统按照如下的步骤实施验收：1)我方自行组织完成功能、性能和压力测试并通过。2)我方提出系统验收申请。3)制定系统验收计划。4)双方成立系统验收小组。5)进行系统验收测试。

12、6)进行系统初验评审。7)形成系统初验报告。8)产品移交。9)试运行。10)进行系统终验评审。11)产品正式移交。系统验收：按照项目的计划要求，完成以下工作并经过正式的系统测试后，由我方向甲方递交由甲方最终用户签字的上线运行证书，经甲方认可后，甲方即组织工程初步验收，并形成初步验收报告，验收合格甲方提供系统初验合格证书：系统初验前的系统软、非本合同相关硬件设施应满足如下条件：1)所有相关硬件设备（包括：服务器、存储、网络设备）安装到位并投入使用。2)所有软件平台安装并运行正常。3)系统各物理模块和逻辑模块经过测试运行正常。4)系统经过集成测试并运行正常。5)系统经过压力测试并运行正常。6)业务

13、软件和业务处理流程经过用户认可。在系统进行验收前，应确保先提交下列文档：7)系统实施计划8)业务需求列表9)系统设计说明书10)逻辑数据模型11)物理模型12)前端应用设计说明书（概要设计和详细设计）13)项目模块测试、集成测试、压力测试报告14)应用系统测试报告15)用户手册16)培训手册17)项目管理文档18)用户认可报告。进行验收主要察看系统和应用是否达到下列目标或满足下列标准：检查项目是否达到合同及附件的各项指标要求；根据技术标准、建设规范，检查各项技术指标是否达到要求；对系统或设备进行测试是否达到设计要求。1.12提交物我方在本工程实施建议方案中所指明的服务项目的提交件为：表12-1

14、提交物列表1.规划阶段大数据平台项目实施计划2.规划阶段大数据平台项目人员名单3.规划阶段大数据平台项目建设方案4.需求阶段大数据平台业务需求列表5.需求阶段大数据平台功能需求列表6.需求阶段大数据平台业务需求功能规格说明书7.需求阶段大数据平台业务系统功能列表（FRL）8.系统设计阶段大数据平台环境部署方案9.系统设计阶段大数据平台逻辑数据模型10.系统设计阶段大数据平台物理模型11.系统设计阶段大数据平台数据库详细设计说明书12.系统设计阶段大数据平台ETL设计说明书（概要设计和详细设计）13.系统设计阶段大数据平台前端应用设计说明书（概要设计和详细设计）14.开发测试阶段大数据平台功能测

15、试用例15.开发测试阶段大数据平台业务测试报告16.开发测试阶段大数据平台模块性能测试报告报告17.开发测试阶段大数据平台前端应用程序说明书18.开发测试阶段大数据平台ETL程序说明书19.开发测试阶段大数据平台接口说明20.上线及验收阶段大数据平台用户操作手册21.上线及验收阶段系统上线和试运行方案22.上线及验收阶段大数据平台培训手册23.上线及验收阶段大数据平台系统安装手册24.上线及验收阶段大数据平台日常维护手册25.上线及验收阶段大数据平台厂商建设报告26.上线及验收阶段大数据平台厂商容灾方案1.13系统的交接与知识转移我方负责将集团大数据平台相关知识与技术向甲方人员转移，完成大数据

16、平台开发、测试、运行维护、分析挖掘等技术向甲方人员的转移，满足甲方开展后续数据工作的需要。在项目实施过程中，我方将通过多种方式向业主方进行系统技术知识的转移，通过双方的合作和努力，争取达到业主方可以独立进行系统维护的能力，承担未来整个集团大数据平台的运行维护服务。1）人员参与方式。项目过程中，甲方技术人员全程参与包括设计和开发的整个过程，我方技术人员与集团技术人员将在项目过程中，进行从设计、开发测试到上线的全流程密切交流，确保甲方技术人员掌握系统各方面知识。2）培训方式。项目上线后，我方提供全方位的培训，包含Hadoop系统培训、业务使用培训、分析挖掘培训、运行维护培训、开发培训。具体参见本方案17章。使甲方从各级领导骨干、业务人员、分析人员、运行维护人员、技术开发人员均得到需要的知识转移。3）文档方式。项目过程中，我方向甲方提供各阶段文档，具体文档列表参见本方案12.12。4）代码方式。我方将项目功能应用的全部代码和说明，提交甲方。5）其他方式。除以上方式外，我方可以按照甲方的要求提供其他方式的知识转移，保证平台后续阶段工作的如期顺利进行。