大数据中心系统总体部署情况.docx

大数据中心系统总体部署情况.docx

《大数据中心系统总体部署情况.docx》由会员分享，可在线阅读，更多相关《大数据中心系统总体部署情况.docx（43页珍藏版）》请在冰豆网上搜索。

大数据中心系统总体部署情况

1大数据中心系统总体部署情况

1.1大数据中心系统整体结构图

皓枸牝散蜡山！

:

;？

乂挖W订他"门吃瓠弋手工育库誥平

MB屮心

k人

霭r

融W漱

r

h

折

»

L£

±J

瑞牛册认诬

II

I

I亠.IIBniiw■*i'dhI

i户|i

'、说:

IlrI

I-I

ii

ii

ii

耐卩磁：

昕r朽霍.體昨社细体互跻・

'生盤墨駐1H

盂来12W的由W

1.2大数据中心系统网络拓扑图

IWk

—棗迪申吐取淹

MtRMS

KRC

1JQ3FRI

It?

即远雅ix€＞故摞庠加密审讣

5127QS

丈轨網Tfi齐俑胆峥仪轴柑A；fiiy'F白席艸JU芳隅斗白

is»ck

■IW、dII■'、讣，“11

1.3大数据中心系统数据流向图

1.4大数据中心物理服务器明细清单

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

大数据平台存储计算服务器

（共计30台

）

1

XD

5

172.16.8

0.36

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

cento

s6.5

RH2288HV3，2*XeonE5-2630v3-8Core，64GBDDR4内存，12*4000GB-SATA6.0Gb/s-7200rpm-3.5inch-64MB硬盘

2

XD

5

172.16.8

0.35

物理服

务器

大数据平台服务器集群

资源管理器YARN,分布式机器学习引擎

DISCOVER,分布式

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

数据库系

统

HYPERBAS

E

+1*600GB-SAS6.0Gb/s-10000rpm-2.5"-16MB硬盘，SR430CRAID卡1GBCache，4XGE电口网卡，冗余风扇电源，三年服务

3

XD

5

172.16.8

0.34

物理服

务器

大数据平台服务器集群

资源管理器YARN,分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

4

XD

5

172.16.8

0.33

物理服

务器

大数据平台服务

器集群

资源管理器YARN,分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

5

XD

5

172.16.8

0.32

物理服

务器

大数据平台服务器集群

资源管理器YARN,分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

6

XD

5

172.16.8

0.31

物理服

务器

大数据平台服务器集群

资源管理器YARN,

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBAS

E

k

7

XD

5

172.16.8

0.30

物理服

务器

大数据平台服务

器集群

资源管理

器YARN,

分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

8

XD

5

172.16.8

0.29

物理服

务器

大数据平台服务

器集群

资源管理

器YARN,

分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

9

XD

5

172.16.8

0.28

物理服

务器

大数据平台服务器集群

资源管理

器YARN,

分布式机器学习引擎

DISCOVER,分布式

数据库系

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

统

HYPERBAS

E

10

XD

5

172.16.8

0.27

物理服

务器

大数据平台服务器集群

资源管理器YARN,分布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBASE

centos

6.5

11

XD

5

172.16.8

0.26

物理服

务器

大数据平台服务

器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBAS

E

centos

6.5

12

XD

6

172.16.8

0.15

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

HYPERBASE

k

13

XD

6

172.16.8

0.16

物理服

务器

大数据平台服务器集群

分布式文件系统HDFS资源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

centos

6.5

14

XD

6

172.16.8

0.17

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

centos

6.5

15

XD

6

172.16.8

0.18

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

HYPERBASE

16

XD

6

172.16.8

0.19

物理服

务器

大数据平台服务器集群

分布式文件系统HDFS资源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

centos

6.5

17

XD

6

172.16.8

0.20

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资源管理器

YARN分布式数据

库系统

HYPERBASE

centos

6.5

18

XD

6

172.16.8

0.21

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS分布式发布订阅消息系统

KAFKA

centos

6.5

19

XD

6

172.16.8

0.22

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS分布式发布订阅消息系统

KAFKA

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

20

XD

6

172.16.8

0.23

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS分布式发布订阅消息系统

KAFKA

centos

6.5

21

XD

6

172.16.8

0.24

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS分布式发布订阅消息系统

KAFKA

centos

6.5

22

XD

6

172.16.8

0.25

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS分布式发布订阅消息系统

KAFKA

centos

6.5

23

XD

6

172.16.8

0.11

物理服

务器

大数据平台服务器集群

分布式应用程序协调服务

ZOOKEEPE

R,分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBAS

E,搜索引擎

centos

6.5

k

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

ELASTICS

EARCH

24

XD

7

172.16.8

0.12

物理服

务器

大数据平台服务器集群

分布式应用程序协调服务

ZOOKEEPE

R,分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E,数据传递工具

SQOOP搜

索引擎

ELASTICSEARCH

centos

6.5

25

XD

7

172.16.8

0.13

物理服

务器

大数据平台服务

器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E,数据仓

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

库INCEPTOR,搜索引

擎

ELASTICSEARCH图形化接口

HUE

26

XD

7

172.16.8

0.14

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

HYPERBAS

E,工作流调度引擎

OOZIE,搜

索引擎

ELASTICS

EARCH图形化接口

HUE

centos

6.5

27

XD

7

172.16.8

0.40

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

centos

6.5

RH2288

HV3RH2288

HV3,2*Xeon

E5-2630v3-8Core

，64GB

DDR4

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

HYPERBASE

k

内存，

12*4000GB-SATA6.0Gb/s-7200rpm-3.5inch-64MB硬盘+1*600GB-SAS6.0Gb/s-10000rpm-2.5"-16MB硬盘，SR430CRAID卡1GBCache，4XGE电口网卡，冗余风扇电源，三年服务2U

28

XD

7

172.16.8

0.39

物理服

务器

大数据平台服务器集群

分布式文件系统HDFS资源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

centos

6.5

29

XD

7

172.16.8

0.38

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER,分布式数据库系统

HYPERBAS

E

centos

6.5

30

XD

7

172.16.8

0.37

物理服

务器

大数据平台服务器集群

分布式文件系统

HDFS资

源管理器

YARN分

布式机器学习引擎

DISCOVER

分布式数据库系统

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

HYPERBASE

大数据平台管理服务器

（共计4台

）

1

XD

7

172.16.8

0.1

物理服

务器

大数据平台服务器集群

分布式应用程序协调服务

ZOOKEEPE

R,分布式文件系统

HDFS资

源管理器

YARN分

布式数据库系统

HYPERBASE

centos

6.5

RH2288HV3,2*XeonE5-2630v3-8Core，64GBDDR4内存，4*600GB-SAS6.0Gb/s-10000rpm-2.5"-16MB硬盘，RAID卡SR430C1GBCache，4XGE电口网卡，冗余风扇电源，三年服务

2

XD

7

172.16.8

0.2

物理服

务器

大数据平台服务

器集群

分布式应用程序协调服务

ZOOKEEPE

R,分布式发布订阅消息系统

KAFKA

icentos

6.5

3

XD

7

172.16.8

0.3

物理服

务器

大数据平台服务器集群

分布式发布订阅消息系统

KAFKA

centos

6.5

4

XD

7

172.16.8

0.4

物理服

务器

大数据平台服务器集群

分布式发布订阅消息系统

KAFKA

centos

6.5

虚拟化服务

1

XD

3

172.16.8

2.104

物理服

务器

虚拟化服务器

iETL设计器、iESB设计器/

自助仪表盘工具

Windows

RH2288

HV3，2*Xeon

E5-

2650

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

器

（共计

13台）

/SVN服务

器

v3-10Core，64GBDDR4内存，3*600GB-SAS6.0Gb/s-10000rpm-2.5"-16MB硬盘，RAID卡SR430C1GBCache

，4XGE电口网卡，2*8Gb单口HBA卡，冗余风扇电源，三年服务

2

XD

3

172.16.8

2.103

物理服

务器

虚拟化服务器

数据共享交换、目录管理系统/数据共享交换前置

centos

6.5

3

XD

3

172.16.8

2.102

物理服

务器

虚拟化服务器

综合信息采集设计器、数据服务总线设计器、自助仪表

盘BI

Windows

4

XD

3

172.16.8

2.101

物理服

务器

虚拟化服务器

iETL后台、统身份认证、门户系统、人物画像系统、全文检索

centos

6.5

5

XD

3

172.16.8

2.108

物理服

务器

虚拟化服务器

数据服务总线服务引擎、统一身份认证系统/数据共享交换服务引擎、综合信息采集控制台

centos

6.5

6

XD

3

172.16.8

2.109

物理服

务器

虚拟化服务器

网络爬虫程序/综合信息采集设计器、数据服务总线

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

设计器、政务智能设计器

7

XD

3

172.16.8

2.110

物理服

务器

虚拟化服务器

全文搜索程序/数据服务总线服务引擎、统一身份认证系统

centos

6.5

8

XD

3

172.16.8

2.111

物理服

务器

虚拟化服务器

网络爬虫程序/综合信息采集设计器、数据服务总线设计器、政务智能设计器

centos

6.5

9

XD

3

172.16.8

2.112

物理服

务器

虚拟化服务器

全文搜索程序/门户系统、目录管理系统

centos

6.5

10

XD

3

172.16.8

2.113

物理服

务器

虚拟化服务器

数据共享交换前置

Windows

11

XD

3

备用

物理服

务器

虚拟化服务器

备用

centos

6.5

12

XD

5

172.16.8

1.1

物理服

务器

ORACLE数据库

备份服务器

数据仓库备份服务器

centos

6.5

13

XD

5

172.16.8

1.2

物理服

务器

ORACLE数据库

服务器

数据仓库服务器

centos

6.5

MySQL服务器

（

1

XD

4

172.16.8

1.20

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona.

centos

6.5

RH2288

HV32*Xeon

E5-

2630

v3-

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

共

计

12

台）

检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy

（请尽量用中文概括描述）

8Core64GBDDR48*600GB-SAS6.0Gb/s-10000rpm-2.5"-16MBSR430C1GBCache4XGE电口2U

2

XD

4

172.16.8

1.12

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy

centos

6.5

3

XD

4

172.16.8

1.13

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

4

XD

4

备用

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy

centos

6.5

5

XD

4

备用

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务

器状态

keepaliv

ed,分布式数据库mycat,负载均衡

haproxy

centos

6.5

6

XD

4

备用

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态keepalived,分布式数据库

centos

6.5

服务器类别

序号

机柜

服务器

IP

设备类型

功能分类

规划设备用途

操作系统

设备参数

mycat,负

载均衡

haproxy

7

XD

4

172.16.8

1.14

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态

keepaliv

ed,分布式数据库mycat,负载均衡haproxy

centos

6.5

8

XD

4

172.16.8

1.15

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务

器状态

keepaliv

ed,分布式数据库mycat,负载均衡

haproxy

centos

6.5

9

XD

4

172.16.8

1.16

物理服

务器

MYSQ集群服务

器

MySQL高可用性和可扩展性的解决方案

percona,检测服务器状态

centos

6.5

服务器