大数据中心系统总体部署情况.docx

1、大数据中心系统总体部署情况1大数据中心系统总体部署情况1.1大数据中心系统整体结构图皓枸牝散蜡 山！:;？ 乂挖 W订他 门吃瓠弋 手工育库誥平MB屮心k 人霭r融W漱rh 折LJ瑞牛册认诬I III 亠. I I Bn i i w * i dh Ii户| i、说:I lr II -Ii ii ii i耐卩磁：昕r朽霍.體昨社细体互跻生盤墨駐1H盂来12W的由W1.2大数据中心系统网络拓扑图IWk棗迪申吐取淹Mt RMSKRC1JQ3FRII t?即远雅ix 故摞庠加密审讣5127QS丈轨網Tfi齐俑胆峥仪轴柑A；fiiy F白席艸JU芳隅斗白isckI W、d I I 、讣，“ 111.3大

2、数据中心系统数据流向图1.4大数据中心物理服务器明细清单服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数大 数 据 平 台 存 储 计 算 服 务 器（ 共 计 30 台）1XD5172.16.80.36物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASEcentos6.5RH2288 H V3， 2*Xeo n E5- 2630 v3- 8Core ，64GB DDR4 内存， 12*400 0GB- SATA 6.0Gb/ s- 7200rp

3、m-3.5 inch- 64 MB 硬盘2XD5172.16.80.35物理服务器大数据平台服务 器集群资源管理 器 YARN, 分布式机 器学习引 擎DISCOVER ,分布式cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数数据库系统HYPERBASE+1*600 GB-SAS 6.0Gb/ s- 10000r pm- 2.5- 16MB 硬盘， SR430C RAID 卡1GB Cache ，4XGE 电口网 卡，冗 余风扇 电源， 三年服 务3XD5172.16.80.34物理服务器大数据平台服务 器集群资源管理 器 YAR

4、N, 分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.54XD5172.16.80.33物理服务器大数据平台服务器集群资源管理 器 YARN, 分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.55XD5172.16.80.32物理服务器大数据平台服务 器集群资源管理 器 YARN, 分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.56XD5172.16.80.31物理服务器大数据平台服务 器集群资源管理 器 YARN,cen tos6.5服 务

5、器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBASEk7XD5172.16.80.30物理服务器大数据平台服务器集群资源管理器 YARN,分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.58XD5172.16.80.29物理服务器大数据平台服务器集群资源管理器 YARN,分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.59XD5172.16.80.28物理服务器大数据平台服务 器集群资源

6、管理器 YARN,分布式机 器学习引 擎DISCOVER ,分布式数据库系cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数统HYPERBASE10XD5172.16.80.27物理服务器大数据平台服务 器集群资源管理 器 YARN, 分布式机 器学习引 擎DISCOVER,分布式 数据库系 统HYPERBAS Ecen tos6.511XD5172.16.80.26物理服务器大数据平台服务器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统HYPERBASEcen tos6

7、.512XD6172.16.80.15物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS Ek13XD6172.16.80.16物理服务器大数据平台服务 器集群分布式文 件系统 HDFS 资 源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASEcen tos6.514XD6172.16.80.17物理服务器大数据平台服务 器集群分布式文

8、件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASEcen tos6.515XD6172.16.80.18物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS E16XD6172.16.80.19物理服务器大数据平台服务 器集群分布式文 件系统 HDFS 资 源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式

9、数据库系 统HYPERBASEcen tos6.517XD6172.16.80.20物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资 源管理器YARN 分 布式数据库系统HYPERBAS Ecen tos6.518XD6172.16.80.21物理服务器大数据平台服务 器集群分布式文 件系统HDFS 分 布式发布 订阅消息 系统KAFKAcen tos6.519XD6172.16.80.22物理服务器大数据平台服务 器集群分布式文 件系统HDFS 分 布式发布 订阅消息 系统KAFKAcen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作

10、系统设备参 数20XD6172.16.80.23物理服务器大数据平台服务 器集群分布式文 件系统HDFS 分 布式发布 订阅消息 系统KAFKAcen tos6.521XD6172.16.80.24物理服务器大数据平台服务 器集群分布式文 件系统HDFS 分 布式发布 订阅消息 系统KAFKAcen tos6.522XD6172.16.80.25物理服务器大数据平台服务 器集群分布式文 件系统HDFS 分 布式发布 订阅消息 系统KAFKAcen tos6.523XD6172.16.80.11物理服务器大数据平台服务 器集群分布式应 用程序协 调服务ZOOKEEPER,分布式 文件系统HDFS

11、 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统HYPERBASE,搜索引 擎cen tos6.5k服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数ELASTICSEARCH24XD7172.16.80.12物理服务器大数据平台服务 器集群分布式应 用程序协 调服务ZOOKEEPER,分布式 文件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASE,数据传 递工具SQOOP搜索引擎ELASTICS EARCHcen tos6.525XD7172.16.80.1

12、3物理服务器大数据平台服务器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASE,数据仓cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数库 INCEPTOR ,搜索引擎ELASTICS EARCH图 形化接口HUE26XD7172.16.80.14物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统HYPERBASE,工作流 调度引擎OOZIE,搜索引擎ELASTICSEA

13、RCH图 形化接口HUEcen tos6.527XD7172.16.80.40物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统cen tos6.5RH2288H V3 RH2288H V3, 2*Xeo nE5- 2630 v3- 8Core，64GBDDR4服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS Ek内存，12*400 0GB- SATA 6.0Gb/ s- 7200rp m-3.5 inch- 64 MB 硬盘 +1*600 GB-S

14、AS 6.0Gb/ s- 10000r pm- 2.5- 16MB 硬盘， SR430C RAID 卡1GB Cache ，4XGE 电口网 卡，冗 余风扇 电源， 三年服 务 2U28XD7172.16.80.39物理服务器大数据平台服务 器集群分布式文 件系统 HDFS 资 源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASEcen tos6.529XD7172.16.80.38物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER ,分布式 数据库系 统HYPERBASEcen tos

15、6.530XD7172.16.80.37物理服务器大数据平台服务 器集群分布式文 件系统HDFS 资源管理器YARN 分布式机器 学习引擎DISCOVER,分布式 数据库系 统cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS E大 数 据 平 台 管 理 服 务 器（ 共 计 4 台）1XD7172.16.80.1物理服务器大数据平台服务 器集群分布式应 用程序协 调服务ZOOKEEPER,分布式 文件系统HDFS 资源管理器YARN 分布式数据 库系统HYPERBAS Ecen tos6.5RH2288 H V3

16、, 2*Xeo n E5- 2630 v3- 8Core ，64GB DDR4 内存， 4*600G B-SAS 6.0Gb/ s- 10000r pm- 2.5- 16MB 硬盘， RAID 卡 SR430C 1GB Cache ，4XGE 电口网 卡，冗 余风扇 电源， 三年服 务2XD7172.16.80.2物理服务器大数据平台服务器集群分布式应 用程序协 调服务ZOOKEEPER,分布式 发布订阅 消息系统KAFKAi centos6.53XD7172.16.80.3物理服务器大数据平台服务 器集群分布式发 布订阅消 息系统KAFKAcen tos6.54XD7172.16.80.4物

17、理服务器大数据平台服务 器集群分布式发 布订阅消 息系统KAFKAcen tos6.5虚 拟 化 服 务1XD3172.16.82.104物理服务器虚拟化服务器iETL设计 器、iESB 设计器/自助仪表 盘工具Win dow sRH2288H V3， 2*Xeo nE5-2650服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数器（ 共 计13 台 ）/SVN服务器v3- 10Core ，64GB DDR4 内存， 3*600G B-SAS 6.0Gb/ s- 10000r pm- 2.5- 16MB 硬盘， RAID 卡 SR430C 1GB Ca

18、che，4XGE 电口网 卡， 2*8Gb 单口 HBA 卡，冗 余风扇 电源， 三年服 务2XD3172.16.82.103物理服务器虚拟化服务器数据共享 交换、目 录管理系 统/数据 共享交换 前置cen tos6.53XD3172.16.82.102物理服务器虚拟化服务器综合信息 采集设计 器、数据 服务总线 设计器、 自助仪表盘BIWin dow s4XD3172.16.82.101物理服务器虚拟化服务器iETL 后 台、统 身份认 证、门户 系统、人 物画像系 统、全文 检索cen tos6.55XD3172.16.82.108物理服务器虚拟化服务器数据服务 总线服务 引擎、统 一身

19、份认 证系统/ 数据共享 交换服务 引擎、综 合信息采 集控制台cen tos6.56XD3172.16.82.109物理服务器虚拟化服务器网络爬虫 程序/综 合信息采 集设计 器、数据 服务总线cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数设计器、 政务智能 设计器7XD3172.16.82.110物理服务器虚拟化服务器全文搜索 程序/数 据服务总 线服务引 擎、统一 身份认证 系统cen tos6.58XD3172.16.82.111物理服务器虚拟化服务器网络爬虫 程序/综 合信息采 集设计 器、数据 服务总线 设计器、 政

20、务智能 设计器cen tos6.59XD3172.16.82.112物理服务器虚拟化服务器全文搜索 程序/门 户系统、 目录管理 系统cen tos6.510XD3172.16.82.113物理服务器虚拟化服务器数据共享 交换前置Win dow s11XD3备用物理服务器虚拟化服务器备用cen tos6.512XD5172.16.81.1物理服务器ORACLE数 据库备份服务器数据仓库 备份服务 器cen tos6.513XD5172.16.81.2物理服务器ORACLE数 据库服务器数据仓库 服务器cen tos6.5MyS QL 服 务 器(1XD4172.16.81.20物理服务器MYS

21、Q集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona.cen tos6.5RH2288H V3 2*Xeo nE5-2630v3-服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数共计12台 ）检测服务 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxy（请尽量 用中文概 括描述）8Core 64GB DDR4 8*600G B-SAS 6.0Gb/ s- 10000r pm- 2.5- 16MB SR430C 1GB Cache 4XGE 电口 2U2XD4172.16.81.12物理服务器M

22、YSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycen tos6.53XD4172.16.81.13物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型功能分类规划设备 用途操作 系统设备参 数4XD4备用物理服务器MYSQ集群服务器MySQL高 可用性和 可扩

23、展性 的解决方 案perc ona, 检测服务 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycen tos6.55XD4备用物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务器状态keepalived,分布 式数据库 mycat,负 载均衡haproxycen tos6.56XD4备用物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务 器状态 keepaliv ed,分布 式数据库cen tos6.5服 务 器 类 别序 号机 柜服务器IP设备类 型

24、功能分类规划设备 用途操作 系统设备参 数mycat,负载均衡haproxy7XD4172.16.81.14物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务 器状态keepalived,分布 式数据库 mycat,负 载均衡 haproxycen tos6.58XD4172.16.81.15物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务器状态keepalived,分布 式数据库 mycat,负 载均衡haproxycen tos6.59XD4172.16.81.16物理服务器MYSQ集群服务器MySQL高 可用性和 可扩展性 的解决方 案perc ona, 检测服务 器状态cen tos6.5服 务 器