云计算大数据平台运维方案.docx

云计算大数据平台运维方案.docx

《云计算大数据平台运维方案.docx》由会员分享，可在线阅读，更多相关《云计算大数据平台运维方案.docx（97页珍藏版）》请在冰豆网上搜索。

云计算大数据平台运维方案

目录

1. 平台优化完善和运维方案 4

1.1. 优化完善及运维服务工作内容 4

1.1.1. 平台层优化完善及运维 4

1.1.2. 数据层优化完善及运维 18

1.1.3. 功能应用优化完善及运维 21

1.2. 运维关键点和难点及应对方案 35

1.3. 服务标准以及工作目标 37

1.4. 运维服务方式 38

1.4.1. 现场值守服务 38

1.4.2. 现场巡检服务 41

1.4.3. 其他服务方式 42

1.5. 优化措施 43

1.5.1. 安装规范优化 43

1.5.2. 环境初始化检查 44

1.5.3. 系统优化 44

1.5.4. 应用优化 45

1.5.5. 专项优化 45

1.5.6. 环境及资源评估 45

1.5.7. 优化报告 46

1.6. 系统运行维护过程 46

1.6.1. 事情预警 46

1.6.2. 事中定位 47

1.6.3. 事后分析 48

1.6.4. 工具组合 49

1.6.5. 故障处理 50

1.6.6. 专家服务 51

1.6.7. 故障分析报告 51

1.7. 工作约束及交付内容 53

1.7.1. 工作约束 53

1.7.2. 交付内容 53

1.8. 新增需求设计方案 53

1.9. 新增需求实施过程 54

1.9.1. 需求分析 55

1.9.2. 设计开发 56

1.9.3. 软件测试 57

1.9.4. 版本管理 97

1.10. 新增需求运行维护及优化方案 97

1.11. 其他优化需求 97

97

1.平台优化完善和运维方案

1.1.优化完善及运维服务工作内容

1.1.1.平台层优化完善及运维

负责对硬件资源、云计算支撑环境和大数据支撑平台提供优化完善及运维，包括但不限于：

日常巡检和监控、故障综合分析及应急处理、性能持续优化等服务，以及硬件设备、数据库、底层工具、云平台环境、云平台扩容优化完善及运维，并提供相应的高级技术支持，以保障云平台平稳运行。

1.1.1.1.平台优化完善及运维定位理解

云平台项目基于目前最新的大数据处理技术手段和理念，借助金三全面上线的有利契机，以大数据云平台为基础，集中、拓宽和整合内外部数据资源，统一规范数据应用范畴，为各需求主体提供更为全面丰富的决策和参考支持，构建开放协作的税务数据生态环境。

项目定位集中体现了基础性、创新性和示范性。

云平台数据管理项目定位集中体现了基础性、创新性和示范性；

基础性：

Ø构建云计算硬件环境，通过搭建灵活的、可随时调用计算资源的数据云环境；

Ø建立数据治理体系，打造成熟完善的数据治理体系为重点，为保障数据资产质量提供支撑；

Ø提供基础数据和工具，为税务局自行开发应用项目提供基础数据和工具，鼓励多样性应用开发。

创新性：

Ø数据全国大集中，利用数据创新，遵循金税三期总体架构要求，继承金税三期前期建设成果，在保持金税三期四大应用系统总体格局不变的情况下，实现数据全国大集中；

Ø统一工作平台整合数据资源和管理资源；

Ø提供基础数据服务，体现“众包协助”。

示范性：

Ø为全国各省局数据开发利用提供从硬件建设、数据治理和应用开发的示范性模板，推进全原收数据利用水平提升。

1.1.1.2.平台优化完善及运维目标理解

大数据云平台项目建设目标如下：

1.建立税务数据的资产化管理模式。

整合全国的税务数据资源，充分利用第三方、互联网等外部数据资源，形成一个全覆盖、高质量的税务数据大集中环境，将数据作为一种资产进行集中的管控，为深度的数据分析、利用、监管提供基础支撑。

2.强化数据治理能力。

建立完整的数据治理体系，形成相应的治理组织机构、流程制度以及配套支撑工具，对于数据的标准、模型、采集、集成、安全等方面进行统一管控，确保整体数据环境可靠、高效、安全。

3.积极拓展和有效利用第三方涉税信息。

形成系统全面的工作机制，充分调动所有协税护税力量，通过在控制环节、工作步骤等方面的设计，从而提高第三方涉税信息的应用效果。

一方面进一步扩大第三方涉税信息交换部门数量，同时充分考虑对互联网数据的抓取，另一方面创新第三方涉税信息利用环节。

4.有机整合大数据技术，提升分析能力。

根据目前税务的数据现状，有机整合大数据技术和传统数据分析技术，建立多模式混合的数据分析支撑环境，提供包括传统OLAP分析环境、大数据分析环境、税务模型算法环境、指标体系、查询等多种机制，满足不同类型用户的分析需求。

5.以用户为核心提供差异化的数据服务。

围绕、各司局、省局、外部门、社会公众等不同类型用户的数据服务需求，基于全国数据建立多层次、多类型、多渠道的数据服务体系，满足各类用户在决策、管理、执行、研究、公众服务等不同性质的工作要求。

6.在全务系统内形成开发协作的税务数据生态环境。

依托建设完成的大数据云平台，为全务系统提供统一的数据服务云，建立一个开放协作式的数据生态环境，有效吸纳和各省局在数据分析利用方面的先进经验，聚集专业人才，逐步形成一种相互促进学习的良性互动格局，有效推动全务系统在数据分析利用方面的能力提升。

7.有效支撑征管改革和税制改革。

在上述目标的基础上，通过大数据平台统一的监督、分析和评价功能以及基于大数据的税收信用信息的不断完善，为前台征管业务流程优化提供决策依据，有效支撑征管改革；同时通过融合了其它相关政府部门数据的税务大数据云平台，逐步建立纳税人的财产、收入和信用监管体系，为税制改革打下坚实基础。

1.1.1.3.平台优化完善及运维技术目标

大数据云平台项目由三部分需组成，分别是平台层、数据层和应用层。

下面分别对这三大部分进行分析：

1.平台层分析

平台层由laaS云、Paas云、SaaS云组成；IaaS:

是InfrastructureasaService，基础设施即服务，消费者通过Internet可以从完善的计算机基础设施获得服务；PaaS:

是Platform-as-a-Service的缩写，意思是平台即服务，把服务器平台作为一种服务提供的商业模式；SaaS:

是Software-as-a-service，国内通常叫做软件运营服务模式，简称为软营模式，提供的是软件服务。

2.数据层分析

数据层由数据资产管理和数据治理体系两部分组成；

数据资产管理对基础层、中间层以及挖掘层的数据进行管理，数据资产管理内容包括资产治理、资产生成、资产评估、质量保证、资产应用运行，从而使数据更加准确、应用更加高效；

数据治理贯穿前台后台系统，形成前台生产系统与后台分析系统之间的数据流转闭环管理，覆盖的应用系统包括核心征管系统、个人所得税系统、管理决策系统以及本项目建设的平台，数据治理需要采用工具进行完整的闭环管理。

3.应用层分析

应用层由主体画像、纳税人遵从分析、税收动态展示和多维数据服务组成，应用层所有应用数据均需要通过数据层获取，并且所有的应用均需通过统一工作平台进行接入集成，同时应用层的应用与金税三期系统、保留系统无缝衔接。

主体画像包括税务机关画像和纳税人画像业务，纳税人遵从分析包括自然人遵从分析、信用动态监控、票流分析线索分析、纳税人关系云图等业务，税收动态展示需要根据不同的业务分不同主题，进行税收业务数据的可视化展示（包括图形、表格、动画、地图、2D/3D等各种视觉元素），达到大数据的实时、形象和生动的展示效果。

1.1.1.4.硬件设备运行维护

定期对平台机器中磁盘、内存条、机器主板和硬盘背板等硬件进行巡检，对出现的磁盘故障、内存故障、主板故障等情况第一时间联系硬件厂商人员到机房更换，全力配合更换前的停服务、关机、下电等工作。

故障解除后，重新对更换的硬件设备进行巡检。

同时定期对平台机器中的网卡、网络情况进行巡检，出现网口松动、网卡故障、网线故障、网络波动等状况等情况第一时间联系硬件厂商人员到机房更换或插拔，全力配合更换前的停服务、关机、下电等工作。

故障解除后，重新对更换或插拔的机器设备进行巡检。

1.1.1.5.大数据产品运维及优化

大数据产品包括：

云服务器ECS、负载均衡SLB、云数据库RDS、安全云盾、虚拟专有网络VPC、监控管理软件、对象存储OSS、数据治理DQC、数据可视化引擎DataV、服务能力开发平台CSB、BASE平台、ODPS、ADS、OTS、DTBOOST、I+、StreamSQL等产品。

云服务器（ElasticComputeService简称ECS）是一种简单高效，处理能力可弹性伸缩的计算服务。

能快速构建更稳定、安全的应用，提升运维效率，降低IT成本。

在系统运行期间，指定专门人员，对服务器的运行情况进行监控、发现故障立即进行处理，根据云服务器的使用情况进行性能优化，根据云服务器的资源申请信息对云服务器资源进行分配及回收。

负载均衡软件能对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。

在系统运行期间，指定专门人员，对负载均衡软件运行情况的监控，发现故障后第一时间进行处理，根据负载均衡的使用情况进行性能优化、资源分配及回收。

关系型数据库服务（RelationalDatabaseService）是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。

具有多重安全防护措施和完善的性能监控体系，并提供专业的数据库备份、恢复及优化方案，使应用开发能够更稳定可靠。

在系统运行期间，指定专门人员，对云数据库RDS运行情况的监控，发现故障后第一时间进行处理，根据云数据库RDS的使用情况进行性能优化、资源分配及回收。

云盾产品用于对流量进行安全监控，具备千万级恶意规则库，能够对黑客攻击行为进行ms级分析及处置；支持主机入侵防护，包括网站后门查杀、恶意文件基本查杀、黑客账户检测、账户异常登录保护、账户暴力破解拦截等功能。

在系统运行期间，指定专门人员，对云盾使用情况进行监控、定期出具云平台安全报告、定期对云盾进行升级完善等。

VPC（VirtualPrivateCloud）是自定义私有网络,不同的专有网络之间二层逻辑隔离，云平台在专有网络内创建和管理云产品实例，比如ECS、负载均衡、RDS等。

系统运行期间，指定专门人员，对虚拟专有网络软件运行情况进行监控，在出现故障时第一时间进行处理。

根据产品使用情况进行资源的分配与回收，定期对产品进行升级维护及优化等。

监控管理软件用于对云产品的统一监控和管理，并支持图形化管理界面，用户能对各种云服务资源进行统一管理和配置等。

系统运行期间，指定专门人员，对监控管理软件进行日常监控，根据监控情况进行性能优化、故障处理等。

定期对监控管理软件进行升级维护及优化等。

对象存储软件基于海量、安全、低成本、高可靠的云存储服务，提供高度的数据可靠性。

使用RESTfulAPI可以在互联网任何位置存储和访问，容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。

系统运行期间，指定专门人员，对对象存储软件（OSS）日常运行情况进行监控，发生故障后第一时间进行处理，根据存储情况进行资源的分配与回收，根据运行情况进行性能的优化。

数据治理套件支持离线数据质量监控，可通过配置监控规则，提供报警服务；提供数据质量评估、数据监控、数据诊断等功能；提供生产调度任务监控告警和诊断功能；支持对项目空间的生产作业运行情况、资源消耗情况、数据资产、数据流转、数据消费、数据存储、数据应用、数据价值等全局可视化展现；包含数据地图、数据血缘、数据生命周期管理、数据权限管理、基础元数据管理等数据管理功能。

系统运行期间，指定专门人员，对数据治理套件（DQC）的日常运行进行监控，根据监控结果，进行治理任务的优化、对失败的治理任务进行处理，根据任务运行情况，对数据质量检查规则进行维护及配置。

数据可视化引擎用于支持文本可