互联网+智慧人社大数据平台规划建设方案.docx

互联网+智慧人社大数据平台规划建设方案.docx

《互联网+智慧人社大数据平台规划建设方案.docx》由会员分享，可在线阅读，更多相关《互联网+智慧人社大数据平台规划建设方案.docx（394页珍藏版）》请在冰豆网上搜索。

互联网+智慧人社大数据平台

建设方案

10

目录

第1章 项目概述 1

1.1、 智慧人社项目整体规划 2

1.2、 智慧人社功能 2

1.2.1、 内部业务子系统 2

1.2.2、 微信平台基础功能 18

1.3、 整体项目功能列表（标准版+定制版） 20

1.4、 技术实现 22

1.4.1、 聚门户产品概念 22

1.4.2、 产品技术优势 23

1.4.3、 产品模块和系统结构 24

1.4.4、 server侧功能组件 25

1.4.5、 客户端功能组件-微门户APP 25

1.4.6、 客户端功能组件-微网站 26

1.4.7、 聚门户系统 27

1.4.8、 主要内容 27

1.4.9、 聚门户爬虫技术描述 27

1.4.10、 项目采用的关键技术 28

1.4.10.1、 技术原理图：

29

1.4.10.2、 产品架构图 31

第2章 基础资源平台设计 34

2.1、 网络设计 34

2.1.1、 系统现状 34

2.1.1.1、 网络结构现状 34

2.1.1.2、 系统资源现状 35

2.1.1.3、 网络带宽现状 36

2.1.1.4、 路由协议现状 37

2.1.2、 需求分析 38

2.1.2.1、 网络结构需求 38

2.1.2.2、 网络分区需求 39

2.1.2.3、 网络带宽需求 39

2.1.2.4、 网络高性能需求 41

2.1.2.5、 网络负载均衡需求 42

2.1.3、 数据中心网络系统设计 42

2.1.3.1、 系统设计原则 42

2.1.3.2、 网络结构规划 44

2.1.3.3、 网络总体结构设计 49

2.1.3.4、 数据中心核心层设计 51

2.1.3.5、 数据中心接入层设计 56

2.1.3.6、 lP地址规划 60

2.1.3.7、 数据中心路由设计 62

2.1.3.8、 负载均衡系统设计 65

2.1.3.9、 可靠性设计 67

2.1.3.10、 带外管理网络设计 72

2.1.3.11、 NTP（网络时间同步）系统设计 74

2.1.4、 同城DWDM系统设计 77

2.1.4.1、 传输网的需求 77

2.1.4.2、 传输技术的选择 78

2.1.4.3、 同城数据中心DWDM传输网络设计 79

2.1.4.4、 可靠性设计 81

2.2、 人社云大数据平台基础设施建设需求分析 81

2.2.1、 建设需求分析 81

2.2.1.1、 系统现状 81

2.2.1.2、 容灾建设考虑因素 83

2.2.2、 人社云大数据平台基础设施建设技术方案建..议 1

2.2.2.1、 总体架构平台概述 1

2.2.2.2、 人社云计算平台设计 2

2.2.2.3、 计算资源池建设方案建议 9

2.2.2.4、 存储资源池建设方案建议 15

2.2.2.5、 备份系统建设方案建议 21

2.2.2.6、 系统资源管理平台建设方案建议 25

2.2.3、 人社云大数据平台基础设施平台两地三中心建设方案建...议 27

2.2.3.1、 两地三中心建设依据 27

2.2.3.2、 两地三中心建设目标 28

2.2.3.3、 容灾技术的选择 29

2.2.3.4、 两地三中心总体架构设计建议 31

第3章 大数据支撑平台设计 39

3.1、 设计思路 39

3.1.1、 轻量服务化架构 39

3.1.2、 弹性可扩展 40

3.1.3、 开放共享 40

3.1.4、 安全可靠 41

3.1.5、 自主可控 41

3.2、 设计内容 42

3.2.1、 数据存储 44

3.2.1.1、 分布式文件系统 44

3.2.1.2、 分布式数据库 48

3.2.1.3、 分布式缓存 53

3.2.2、 计算能力 57

3.2.2.1、 离线计算Map/Reduce 59

3.2.2.2、 离线计算Hive 61

3.2.2.3、 流式计算Storm 61

3.2.2.4、 内存计算Impala 62

3.2.2.5、 图计算 62

3.2.3、 高速服务框架 63

3.2.3.1、 服务注册中心 64

3.2.3.2、 服务监控中心 65

3.2.3.3、 服务引擎 66

3.2.4、 垂直搜索引擎 67

3.2.5、 开放服务 70

3.2.5.1、 云服务器 70

3.2.5.2、 云存储 70

3.2.5.3、 关系数据库 70

3.2.5.4、 海量结构化存储 71

3.2.5.5、 云搜索 71

3.2.5.6、 消息推送 71

3.2.5.7、 负载均衡 72

3.2.5.8、 云监控 72

3.2.6、 分布式应用服务器 73

第4章 大数据创新平台设计 74

4.1、 采集整合服务 74

4.1.1、 现状分析 74

4.1.2、 设计思路 74

4.1.2.1、 爬取方式 75

4.1.2.2、 购买方式 75

4.1.2.3、 合作方式 76

4.1.2.4、 数据整合 76

4.1.3、 设计内容 76

4.1.3.1、 互联网原始数据采集 76

4.1.3.2、 互联网合作伙伴数据采集 78

4.1.3.3、 其他部门数据采集 78

4.1.3.4、 社会机构和商业组织数据采集 79

4.1.3.5、 数据整合 79

4.1.4、 分步建设 79

4.1.4.1、 互联网原始数据 80

4.1.4.2、 互联网合作伙伴数据 80

4.1.4.3、 国家其他部门数据 80

4.1.4.4、 社会机构和商业组织数据 80

4.1.5、 运营方式 81

4.2、 质控治理服务（云平台） 82

4.2.1、 质量规则 85

4.2.2、 自动化监控数据流转 86

4.2.3、 数据比对 86

4.2.4、 数据检测 87

4.2.5、 数据质量评分 88

4.3、 数据资源服务（云平台和智慧城市） 88

4.3.1、 架构设计 88

4.3.2、 服务总线 90

4.3.2.1、 服务总线架构 90

4.3.2.2、 服务生命周期管理 92

4.3.2.3、 服务目录 93

4.3.2.4、 服务授权 93

4.3.2.5、 服务网关 94

4.3.2.6、 服务监控 95

4.3.2.7、 服务SDK 95

4.3.3、 数据超市 96

4.3.3.1、 数据多维展示 96

4.3.3.2、 数据检索 97

4.3.3.3、 数据订阅 97

4.3.3.4、 数据评分、评论 97

4.3.3.5、 数据可视化 98

4.3.3.6、 数据人社 98

4.3.3.7、 数据反馈 99

4.4、 数据资源服务 100

4.4.1、 数据目录创建 100

4.4.1.1、 数据目录申请 100

4.4.1.2、 数据集目录完善 101

4.4.1.3、 数据目录初始化 101

4.4.2、 标签生成 101

4.4.3、 目录审批管理 101

4.5、 数据洞察服务（云平台） 102

4.5.1、 数据挖掘 102

4.5.2、 数据可视化 108

4.5.2.1、 地图 108

4.5.2.2、 图表 110

4.6、 数据开放服务 120

4.6.1、 数据开放目录管理 120

4.6.1.1、 目录设计 120

4.6.1.2、 数据开放目录的梳理 122

4.6.2、 数据开放加工机制 122

4.6.2.1、 数据再整理 123

4.6.2.2、 数据失真 123

4.6.3、 数据开放方式管理 125

4.6.4、 数据开放生命周期管理 126

4.6.4.1、 数据规划设计 126

4.6.4.2、 数据运行维护 126

4.6.4.3、 数据绩效评价 128

4.6.5、 数据开放授权管理 129

4.6.6、 开放服务管理机制 129

4.6.6.1、 数据目录申请流程 129

4.6.6.2、 数据集目录完善 130

第5章 信息安全中心设计 132

5.1、 人社云安全风险分析 132

5.1.1、 人社云环境面临的传统安全威胁 132

5.1.2、 人社云环境面临的新型安全威胁 133

5.1.2.1、 IaaS安全威胁 133

5.1.2.2、 PaaS安全威胁 157

5.1.2.3、 DaaS安全威胁 167

5.1.2.4、 SaaS安全威胁 172

5.1.2.5、 运维服务安全威胁 178

5.2、 人社云安全建设方案 182

5.2.1、 IaaS层安全建设方案 182

5.2.1.1、 规划安全域 184

5.2.1.2、 安全池建设 186

5.2.2、 PaaS平台安全 191

5.2.2.1、 方案总体设计 191

5.2.2.2、 软件健康上线 193

5.2.2.3、 服务中间件安全 197

5.2.2.4、 PaaS平台高可用性 198

5.2.2.5、 PaaS平台运维集中管控 201

5.2.3、 DaaS层安全建设方案 203

5.2.3.1、 云数据防泄漏系统 204

5.2.3.2、 数据服务安全使用体系 206

5.2.4、 SaaS层安全建设方案 209

5.2.4.1、 云应用访问控制 209

5.2.4.2、 应用攻击防护 214

5.2.5、 安全服务中心建设方案 216

5.2.5.1、 日志池 223

5.2.5.2、 日志审计倒查系统 226

第6章 运维监控中心设计 232

6.1、 云计算中心运维服务方案 232

6.1.1、 运维服务体系建设说明 232

6.1.1.1、 运维服务体系建设需求 232

6.1.1.2、 运维服务体系建设目标 234

6.1.1.3、 运维服务体系建设意义 235

6.1.2、 运维服务体系架构 236

6.1.2.1、 服务宗旨 236

6.1.2.2、 人社云中心服务体系架构 237

6.1.2.3、 体系建设内容 239

6.1.3、 云计算中心运维服务内容 244

6.1.3.1、 驻场服务支持 244

6.1.3.2、 搬迁服务 248

6.1.3.3、 系统迁移 249

6.1.3.4、 云托管服务 250

6.1.3.5、 二次开发服务 252

6.1.3.6、 其他增值服务 252

6.1.3.7、 突发事件管理与应急响应预案 264

6.1.3.8、 驻场运维服务目录 266

6.1.3.9、 云运维术语 275

6.1.4、 云计算中心监控方案和排障方法 276

6.1.4.1、 有效支持多种监控类型 276

6.1.4.2、 安全可靠的监控手段 276

6.1.4.3、 监控分类 276

6.1.4.4、 排障方法 280

6.1.5、 体系建设的效果分析 280

6.2、 系统迁移方案规划 284

6.2.1、 迁移原则 284

6.2.2、 迁移步骤 284

第7