PCF网络设计方案.docx
《PCF网络设计方案.docx》由会员分享，可在线阅读，更多相关《PCF网络设计方案.docx（12页珍藏版）》请在冰豆网上搜索。
PCF网络设计方案
网络规划
1.设计标准
PivotalCloudFoundry网络分为System服务网、App应用网、管理网及IPSAN网为实现网络相的互隔离。
通过采用虚拟交换技术，将承载不同应用业务的虚拟机划入不同子网，实现各应用系统的安全隔离。
通过VLAN将虚拟机划分为不同区域，实现分区分域的要求。
用于PCF环境中3台服务器的每台物理主机上均使用2块千兆网卡，并将System服务网、App应用网、管理网及IPSAN网划分为不同的VLAN。
其中，System服务网、App应用网、管理网三网连接万兆物理交换机上，IPSAN网采用单独交换机连接至存储，提高虚拟化平台可靠性。
PCF环境网络构成有别于传统网络，其自身不仅包含传统物理网络部分，同时也包含虚拟网络结构以及虚拟网络与实体网络所交互的部分。
正确的网络设计对组织实现其业务目标有着积极的影响，它可确保经过授权的用户能够及时访问业务数据，同时防止XX的用户访问数据。
网络设计必须经过合理优化，以满足应用、服务、存储、管理员和用户的各种需求。
网络资源规划的目标是设计一种能降低成本、改善性能、提高可用性、提供安全性，以及增强功能的虚拟网络基础架构，该架构能够更顺畅地在应用、存储、用户和管理员之间传递数据。
Ø指导原则与最佳实践
在规划网络资源时，我们会遵循如下的指导原则与最佳实践。
◆构建模块化网络解决方案，该方案可随时间的推移不断扩展以满足组织的需求，使得用户无需替换现有的网络基础架构，进而降低成本。
◆为了减少争用和增强安全性，应该按照流量类型（管理网络（HA心跳互联网络）、vMotion在线迁移网络、虚拟机对外提供服务的网络、FT、IP存储）对网络流量进行逻辑分离。
◆VLAN可减少所需的网络端口和电缆数量，但需要得到物理网络基础架构的支持。
◆可以在不影响虚拟机或在交换机后端运行的网络服务的前提下，向标准或分布式交换机添加或从中移除网络适配器。
如果移除所有正在运行的硬件，虚拟机仍可互相通信。
如果保留一个网络适配器原封不动，则所有的虚拟机仍然可以与物理网络相连。
◆连接到同一标准交换机或分布式交换机的每个物理网络适配器还应该连接到同一物理网络。
将所有VMkernel网络适配器配置为相同MTU。
◆实施网络组件和路径冗余，以支持可用性和负载分配。
◆使用具有活动/备用端口配置的网卡绑定，以减少所需端口的数量，同时保持冗余。
◆对于多网口的冗余配置应该遵循配置在不同PCI插槽间的物理网卡口之间。
◆对于物理交换网络也应该相应的进行冗余设置，避免单点故障。
建议采用千兆以太网交换网络，避免网络瓶颈。
◆对吞吐量和并发网络带宽有较高使用要求的情况，可以考虑采用10GbE，不过采用万兆网络在适配器和交换机上的投入成本也会相应增加。
简单的方法是通过在虚拟机网络vSwitch或vPortGroup上通过对多块1GbE端口捆绑负载均衡实现。
PCF网络域设计要求考虑网络的连通性、隔离性、性能等方面的要求，如下表所示。
网络要求
要求描述
连通性
连通性是指将有需要进行互相通信的组件（服务器、控制节点、客户端等）进行连通。
要求应用网中有业务互通需求的虚拟机、物理机、终端等设备可以通信，网络承载的业务系统可以不间断对外提供服务。
隔离性
隔离性是指将没有必要进行相互通信的组件互相隔开，使其在网络上不可达。
如在虚拟化环境中，管理网与应用网需通过分配到不同的VLAN方式实现二层隔离。
性能
管理网专供资源池管理工具的资源控制服务使用，对物理机、虚拟机进行实时监控，管理网使用万兆以太网；
App应用网专供虚拟机的信息应用对外提供网络服务使用，由于多台虚拟机通过同一块物理网卡对外提供网络服务，使用万兆以上高速以太网；
System服务网专供PCF服务组件之间的通信，即承载各虚拟机服务器流量，使用万兆以上高速以太网；
IPSAN网专供PCF环境中3台物理服务器连接共享存储使用，使用千兆以上高速以太网。
2.网络总体结构
结合公安网现有的网络结构以及PCF总体架构，从生产环境、地址划分、客户访问、平台维护等方面考虑，网络设计中，将网络划分为PCF服务网、App应用网、管理网及IPSAN网，各个网络通过VLAN划分相互隔离。
用户访问PCF应用时需经由防火墙跳转，保证PCF内网与公安网之间的安全性。
测试环境硬件配置：
浪潮配置-NF5270M3
2*E5-2650v2（2.6GHz/8c）/8GT/20M
16*16GRegisteredDDR3内存
1*10000转900GSAS硬盘
集成2个千兆网口、配置2块单口万兆网卡-INSPUR单口万兆网卡（光纤接口，含光模块）、配置冗余电源
配置1块八通道直通卡2308it卡
五年原厂保修服务
逻辑架构
方案中采用8台物理服务器，其中3台用于PCF环境，4台GP服务器，1台Oracle数据库服务器。
3台用于PCF环境的服务器通过IPSAN方式连接共享存储，服务器与存储之间由一台千兆交换机进行连接，由一块网卡专门承载存储流量，另一块网卡上联万兆交换机，保证PCF服务器和虚拟机能与4台GP服务器及Oracle数据库服务器通信，它们之间通信完全由内网完成；万兆交换机上联防护墙，公安网访问内部网络经由防火墙，再以NAT方式完成公安网和内网的互通，既实现网络隔离又保证网络安全。
物理架构
总体分为3层:
第一层为存储层，采用IPSAN存储方式，连接PaaS群集中3台物理服务器，提供PCF环境共享存储；
第二层为服务器内部层，８台服务器上联万兆交换机，产生一个万兆局域网，保证虚拟机与物理机之间的通信；
第三层为外部层，由防火墙提供内网与外网之间的通信，所有进出流量都需通过防火墙。
3.详细规划内容
网段规划设计
为实现System服务网、App应用网、管理网及IPSAN网的相互隔离，采用虚拟交换技术，将承载不同应用业务的服务器及虚拟机划入不同VLAN，实现各应用系统的安全隔离。
资源池网络
设计用途
管理网
集中管理软件监控各物理服务器、vMotion的专门网络
System服务网
PCF虚拟服务器各组件对外提供服务的网络，。
App应用网
提供用户访问PCF应用的专门网络
IPSAN网
提供PCF服务器连接共享存储的专门网络
将System服务网、App应用网、管理网及IPSAN网划分在不同的VLAN中，其中叫交换机的网卡接口模式设置为Trunk，承载System服务网、App应用网、管理网，另一块网卡连接存储，即承载IPSAN网。
详细IP地址如下：
网段
用途
名称
IP个数
管理网
虚拟化服务器
ESXi主机01
1
虚拟化服务器
ESXi主机02
1
虚拟化服务器
ESXi主机03
1
存储服务器
存储服务器
1
IPSAN网
用于连接存储
ESXi主机01IPSan网
1
用于连接存储
ESXi主机02IPSan网
1
用于连接存储
ESXi主机03IPSan网
1
管理网
GP服务器
GP主机01
1
GP服务器
GP主机02
1
GP服务器
GP主机03
1
GP服务器
GP主机04
1
Oracle数据库服务器
Oracle数据库
1
System应用网
集中管理软件
vCenter
1
DNS及NTP服务器
DNS/NTP
1
PCF管理服务器
OpsManager
1
BOSH主机
OpsManagerDirector
1
ElasticRuntime组件
NATS
1
ElasticRuntime组件
consul
1
ElasticRuntime组件
etcd
1
ElasticRuntime组件
NFSServer
1
ElasticRuntime组件
CloudControllerDatabase
1
ElasticRuntime组件
UAADatabase
1
ElasticRuntime组件
AppsManagerDatabase
1
ElasticRuntime组件
CloudController
1
ElasticRuntime组件
HAProxy
1
ElasticRuntime组件
Router
1
ElasticRuntime组件
HealthManager
1
ElasticRuntime组件
ClockGlobal
1
ElasticRuntime组件
CloudControllerWorker
1
ElasticRuntime组件
UAA
1
ElasticRuntime组件
MySQLProxy
1
ElasticRuntime组件
MySQLServer
1
ElasticRuntime组件
DEA
1
ElasticRuntime组件
DopplerServer
1
ElasticRuntime组件
LoggregatorTrafficcontroller
1
MySQL服务组件
MySQLServer
2
MySQL服务组件
Proxy
2
MySQL服务组件
Broker
2
ESXi主机网络设置
PCF服务器两块网卡，System服务网、App应用网、管理网使用一块网卡，另一块网卡承载IPSAN流量。
以下为详细配置表：
虚拟交换机
端口组名称
端口组类型
VLAN
配置上联端口
vSwitch0
ManagementNetwork、vMotion
VMkernel端口
管理VLAN
vmnic0
vSwitch1
SystemNetwork
虚拟机端口组
System服务VLAN
vmnic0
vSwitch2
AppNetwork
虚拟机端口组
App应用VLAN
vmnic0
vSwitch3
IPSAN
VMkernel端口
IPSANVLAN
vmnic1
Ø虚拟交换机规划
上述配置的相关说明如下。
◆所选用的网卡必须在虚拟化服务器的网络I/O设备兼容列表里。
◆对于虚拟交换机的双端口冗余，如果网卡自带软件支持可以在ESXi主机操作系统级别实现NICTeaming，本方案建议通过多个vSwitch绑定与单块网卡上，实现多网隔离。
◆对于虚拟机应用的网络，为了确保虚拟机在执行了vMotion迁移到另一物理主机时保持其原有的VLAN状态，建议根据实际需要在虚拟交换机端口启用802.1q的VLAN标记（VST）方式。
采用此方式可以确保迁移主机可以保留原有的网络配置如网关等，并且建议在网络设置中启用通知物理交换机功能，该功能可以确保迁移主机通过反向ARP通知物理交换机虚拟机端口的更改，确保新的用户会话可以被正确建立。
PCF服务器主机网络连接配置示意图如下所示。
图：
主机网络连接示意图
ØvSwitch绑定
每台服务器只存在2块网卡，而其中一块网卡需连接共享存储（IPSAN网），另一块网卡将承载System服务网、App应用网、管理网流量，且此网卡上联交换机需打Trunk，保证System服务网、App应用网、管理网分配不同VLAN。
虚拟机交换机绑定要求满足以下条件：
◆将两个或更多vSwitch分配到同一网卡上
◆同一端口组中的所有网卡都位于相同的第二层广播域中
网卡绑定的示意图如下所示。
图：
网卡绑定示意图
域名需求
需要提供一个能够在公安网根域名服务器解析的泛域名，来绑定应用，进行访问。
域名
IP地址
*.XXX.XXX.COM
IP1
网络设备需求
共需要一个千兆交换机，一个万兆交换机，一个防火墙设备。
千兆交换机用来连接服务器及IP-SAN存储设备。
需要5个可用端口。
万兆交换机用来组建内部局域网，保证PCF、GP、Oracle之间的通讯。
每台服务器有2个万兆光口，建议配置16个光口模块，最少配置8个光口模块。
防火墙设备内网接入内网万兆交换机，外网接入公安网。
负责将公安网的请求通过NAT转换，分发到对应的内网服务器并返回请求。
公安网IP地址需求
共需要提供6个公安网IP地址，6个IP地址全部配置在防火墙。
访问时，通过防火墙的NAT功能映射到相应的内网IP地址。
公安网IP地址
用途
IP1
应用访问的IP地址.
IP2、IP3、IP4、IP5
跳板机的IP地址，用来做内部管理及维护。
IP6
Oracle的公安网访问IP。
升级会员 