私有云解决方案v21.docx
《私有云解决方案v21.docx》由会员分享，可在线阅读，更多相关《私有云解决方案v21.docx（43页珍藏版）》请在冰豆网上搜索。
私有云解决方案v21
UnitedStack有云
私有云解决方案
UnitedStack有云
UnitedStack（北京）科技有限公司
1.项目需求
1.1架构需求
云计算平台基于OpenStackJuno版开源框架和开发标准构建，Hypervisor使用KVM，操作系统使用CentOS6.5，支持虚拟机操作系统镜像运行在开源分布式存储之上（例如Ceph），涵盖在线扩容、多份冗余（三副本）、快照、备份恢复等分布式存储特性。
支持虚拟机热迁移，支持物理机HA功能，支持虚拟机的快速创建以及批量创建，支持一个虚拟机多网口。
API接口需要100%支持OpenStack原生API，需要有官方的互操作性认证，避免厂商锁定，保证API的可用性和敏捷的二次开发。
1.2规模需求
一期规模为30台物理服务器，依据云平台集群架构上的3机柜对称部署要求，规划为3台控制节点、3台网络节点、18台计算超融合节点、6台存储节点。
为保证平台的稳定性及可靠性，最终的硬件规划方案，可能需要根据实际情况，进行一定的调整。
比如：
节点数量、内存、网卡、RAID卡、硬盘等。
1.3技术需求
1.3.1云主机需求（SDC）
1.虚拟机要求：
支持开源的X86虚拟化技术，虚拟机相对于同规格物理机，性能损耗应小于8%；
2.快速部署：
云主机秒级创建和批量部署、丰富镜像支持、自定义vCPU和内存配置组合、自定义云主机密码、支持Linux密钥方式登陆等；
3.异构利旧设备支持：
能支持异构计算节点、支持不同型号主机的热迁移（CPU型号相同）和冷迁移（CPU型号不同），支持利旧服务器设备接入云平台，实现新旧设备的统一融合；
4.高可用：
能动态在线扩容计算节点，支持云主机IO设备的热插拔（网卡、硬盘等），具备虚拟机疏散和动态均衡能力（即在宿主机宕机的情况下，对虚拟主机执行自动迁移，在新宿主机上启动和恢复）；
5.虚机套餐方面要求支持1C、2C、4C、8C、16C等，标准CPU内存比为1:
2、1:
4等，套餐需要支持定制化，比如CPU内存比、套餐类型等。
1.3.2存储需求（SDS）
1.软件定义存储（ServerSAN分布式存储架构，）：
基于x86通用服务器硬件的分布式存储，一套存储系统能同时提供块存储、对象存储和文件共享存储（支持文件共享，能提供多个节点同时访问同一个文件系统），能提供单盘不低于6000IOPS及170MB/s吞吐率的IO性能。
2.高可用数据保护：
分布式存储能动态在线扩容存储节点，存储架构具备多副本冗余保护，并具备自修复能力（能够确保在一定数量物理硬盘损坏的情况下，故障硬盘自动被隔离，数据的冗余保护级别得到恢复）；实现如克隆、快照等本地数据保护功能，并提供秒级备份恢复功能。
1.3.3网络需求（SDN）
1.虚拟网络拓扑：
具备可视化虚拟网络操作能力（路由器/交换机相关操作），自动绘制基础网络和私有网络拓扑图。
2.虚拟主机网卡须实现如下功能：
在线创建虚拟网卡、修改网卡所属安全组、自定义网卡IP地址、自定义网卡所属子网、在线绑定网卡到虚拟主机、在线网卡卸载、修改网卡名称、删除网卡等。
3.虚拟路由需实现如下功能：
创建及删除路由器、关闭及开启网关、绑定及解除公网IP、自定义路由器关联子网、自定义路由器端口转发、自定义VPN服务等。
2.平台架构介绍
2.1WEB门户
2.1.1用户门户
用户门户用于云平台最终用户。
最终用户主要用来申请和使用云平台的各类资源。
在用户门户下，系统提供如下功能：
—虚机管理
主要提供对虚机的管理
—虚拟存储管理
对虚机的附加虚拟存储的管理
—备份管理
对虚机和存储备份的管理功能
—虚拟网络管理
对虚拟网络的管理功能
—监控报警管理
对虚机等资源的监控报警的管理
—消费管理
租户的消费管理
2.1.2管理门户
UnitedStack管理门户是采用B/S结构，用于系统管理员，管理员拥有系统的所有权限，管理员能够进行系统的所有操作。
提供的功能：
—认证管理
用户管理：
管理平台中所有的用户，包括修改用户配额、激活用户、账户充值、启用/禁用用户等。
项目管理：
管理平台所有项目，包括删除项目、删除项目资源功能。
—配置管理
对平台中的各种配置进行设置，包括：
系统配置：
系统中各种功能开关，以及参数调整。
配置定义：
修改用户控制台、运营平台、消息服务、注册页面的配置定义，包括消息信息、消息名称等各种关键参数的调整。
产品定价：
修改云资源计费中的定价
—资源管理
监控云平台中计算资源、网络资源和存储资源的使用情况，以及平台节点状态
计算资源：
查看VCPU和内存的使用情况，宿主机的使用情况和云主机的相关信息。
存储资源：
查看云硬盘总数和容量、云硬盘信息、容量型和性能型云硬盘快照信息
网络资源：
查看网络资源的使用情况，包括：
各种代理的运转情况、公网IP、私有网络、路由器、子网、虚拟网卡等信息。
—财务管理
对于计费信息进行统一管理，包括消费与充值管理
充值管理：
对账户进行充值，以及产看充值记录和导出充值记录功能
消费管理：
产看平台各种资源的消费信息
2.2计算构架
UnitedStack私有云底层采用KVM虚拟化技术，由于计算节点采用超融合的构架，所以既提供计算能力，也提供存储资源。
UnitedStack云平台的计算节点均采用HA架构，最大保障虚机业务的连续性。
同时，UnitedStack云平台计算节点的负载平衡，虚机创建会自动根绝服务器的负载进行分配，保障不会出现负载的热点服务器，同时平台也会根据计算服务器的负载，自动的将虚机进行迁移，实现负载的再平衡。
2.3存储构架
为了满足底层对于数据可靠性、高性能以及可扩展的需要，系统采用统一的CEPH分布式存储系统。
CEPH分布式统一存储系统，可以同时提供用户所需的块存储、对象存储、文件存储，一套存储系统即可满足所有存储使用场景，而无需购买多套昂贵的商业存储。
CEPH分布式统一存储系统，是由CEPH社区统一维护的开源项目，可避免技术黑盒、厂商锁定等非开源问题，实现自主可控。
计算节点自带SSD形成高性能的存储池，构建存储计算超融合节点。
使用单独的服务器挂载SATA磁盘，构建大容量的存储池。
池的划分使用Ceph内建的pool的概念实现。
在产品上，新建云磁盘时可选择创建容量型或性能型，选择不同类型云磁盘会对应不同pool进行资源的创建和使用，从物理层面上做了安全的隔离和性能保护。
经过大量验证，采用3副本+强一致性验证的方式，保障数据安全性的同时，还可以保障极高性能。
在进行QoS（配额限制）的情况下，单块性能型云硬盘可以提供6000的IOPS，以及170MB/S的吞吐量，满足性能敏感型的业务系统需求。
CEPH分布式统一存储的架构如下图所示：
分布式统一存储架构示意图（请放大至200%查看）
1）部署需求：
•SATA硬盘无容量类型要求，SSD采用IntelDC3500480GSSD硬盘
•控制节点需要2块SATA做RAID1，6块SSD做RAID1+0
•网络节点只需两块SATA做RAID1
•计算节点需要2块SATA做RAID1，3块SSD（不需要RAID支持）
•为了保障整体性能，CEPH存储的硬盘必须采用SSD硬盘
•CEPH存储采用10G存储网络
•为了保障不丢失数据，部署时节点数和机柜数必须是3的整数倍
2）数据分布
•所有节点的系统都安装在本机的RAID1
•管理后台安装在控制节点的RAID1+0
•虚机存储在CEPH分布式存储
•SDN网络功能只使用网络节点的RAID1
3）CEPH的优势
•3副本全部真实写入完成才返回写入成功
•机柜感知技术，保证3副本会分别写入不同的机柜
•硬盘、物理机故障后，CEPH系统会自动迁移数据，保障数据数据始终保持3副本
•Nova、Glance、Cinder统一采用CEPH，避免了3者间的数据传输，实现了虚拟机秒级创建
•分布式存储轻松实现整体平台存储容量和吞吐量的扩展
4）数据可靠性
•控制节点：
2块SAS或SATA硬盘RAID1和有6块SSD做RAID1+0，单块硬盘故障后不影响系统运行
•网络节点：
2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运行
•计算节点：
2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运行；标准配置至少3块SSD硬盘用于CEPH分布式存储，UStack私有云CEPH分布式存储采用3副本机制+机柜感知技术，如果单块硬盘或单机柜多块硬盘损坏不影响整个分布式存储系统的运行。
5）性能参数
—忽略QoS，单云盘的最高IOPS可达20,000+，吞吐率可达500+MB/S
—Burst特性允许云盘短时间内突破QoS，更符合实际应用的需要
资源的性能隔离，是为了从根本上避免云平台租户间的资源争抢。
基于QoS的限制，我们以1TB性能型云硬盘为例，性能的SLA（服务水平）如下：
I/O类型
块大小
队列深度
IOPS
95%的响应时间
吞吐率
随机读
4KB
8
6000
<2ms
-
随机读
8KB
8
6000
<2ms
-
随机读
16KB
8
6000
<2ms
-
随机写
4KB
32
6000
<12ms
-
随机写
8KB
32
6000
<12ms
-
随机写
16KB
32
6000
<12ms
-
随机写
32KB
32
6000
<12ms
-
顺序读
1MB
1
170
<12ms
170MB/S
顺序写
1MB
1
170
<20ms
170/S
2.4网络构架
UnitedStack私有云网络设计充分考虑了网络的扩展性、可用性和网络性能，在满足用户业务需求的同时，有效降低了用户的网络投入。
云计算平台网络采用了SDN（软件定义网络）网络技术，用户的虚机网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并能够灵活配置的网络。
基于Neutron、OVS、VXLAN、NameSpace等技术，该项目中将所有物理世界的网络设备都被设计成了可操作的网络对象。
只需要在云平台管理面板，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能。
云计算平台实现了常见的网络设备的功能，将所有功能抽象为平台中的组件，用户只需简单操作即可完成对复杂网络环境的构建。
2.4.1虚拟网卡
•对应物理世界的真实网卡，实现虚机的数据传输。
•支持绑定到虚机或从虚机解绑
•支持自动获取绑定内网IP地址、网管等信息
•支持可以加入私有网络并制定内网IP
•虚机可以绑定多个虚拟网卡
•支持直接绑定公网IP
2.4.2公网IP
•对应用户拥有的公网IP资源，通过公网IP绑定方式，实现外网对内部云资源的访问。
•可绑定到虚拟网卡、路由器、负载均衡器
•支持带宽流量限制
•支持最高8.5G的带宽流量
2.4.3路由器
•对应物理世界的路由器，提供多种网络功能，可绑定公网IP。
•子网路由：
可关联多个子网，实现关联的子网间相互通信
•端口转发：
实现对关联子网中的虚机的端口转发，用户可自定义转发规则
•VPN服务：
提供基于PPTP的VPN服务，用户可直接拨入连接路由器管理子网，实现安全访问
2.4.4安全组
实现虚机的防火墙功能。
•支持上下行双方向规则
•支持CIDR源IP规则
•提供常用规则选项
•端口范围定义
2.4.5负载均衡器
实现高性能的负载均衡功能，最大支持40000并发连接。
•可关联基础网络和私有网络
•支持轮询、最小连接数等多种负载方式
•支持后端资源健康检查
•自动故障节点隔离
•支持7层会话保持
2.4.6网络拓扑
支持网络拓扑可视化操作,用户可以画出自己的网络结构。
•直观的了解网络
•所见即所得的快速网络操作
3.解决方案
3.1物理架构介绍
物理架构图（请放大至200%查看）
方案中共涉及4种角色服务器，分别是Hyper节点（控制节点）、Network节点（网络节点）、Compute节点（计算超融合节点）、Storage节点（存储节点）。
4种角色服务器结合必要的网络设备、存储资源共同构成云平台。
●Hyper节点：
对整个云平台进行控制与资源调度、运算。
包括对CPU、内存、网络、磁盘等资源的控制和管理。
需要强劲的CPU处理能力，及较高的磁盘IO能力。
因此，控制节点会配置6块SSD。
●Network节点：
提供云平台所需的网络资源，包括基础网络、私有网络、虚拟路由器、负载均衡，以及其他网络功能。
●Compute节点：
计算/性能型存储融合节点。
用于运行客户创建的云主机（虚拟机）；同时，提供高性能云硬盘的存储空间。
●Storage节点：
提供容量型存储资源，具备很高的性价比。
主要用于对IOPS要求不敏感，对存储空间需求突出的业务场景。
3.2硬件规划
硬件方面，您可以根据自身情况进行采购，我们对于服务器、交换机的品牌没有任何要求，只要硬件配置、芯片参数能够满足要求即可。
对于一些芯片及配件，我们会有品牌的指定，这是出于稳定性、兼容性的考虑。
我们对市面上的主流硬件设备都进行了对比测试，我们所做的要求，来源于实际测试分析，目的是确保您的UnitedStack有云私有云能够达到与我们的公有云相同的品质。
3.2.1硬件规划原则
1.UnitedStack有云私有云使用基于Ceph的分布式统一存储系统，因此，不需要采购传统的商业存储
2.由于计算存储融合，单台机器需要较为强劲的CPU
3.每台机器需要1块2端口千兆网卡和1块2端口万兆网卡
4.接入交换机部分，每个机柜需要1台带4口40G全线速的48口全万兆L2交换机和1个带2口10G全线速的48口全千兆L2交换机（单机柜机器数量小于10，且不考虑后续扩容，否则可用24口）
5.核心交换机需支持堆叠技术（高可用），如华为CSS，思科vPC，华三IRF2，Force10VLT等，另外核心交换机需要全40GL3交换机
6.如果要实现机柜级冗余（容许单机柜掉电或TOR失效），我们需要服务器在每三个机柜中对称部署
7.对于交换机、服务器的品牌并不限制，只要能达到我们提出的技术指标即可，没提到的技术指标如电源功率，机箱规格，万兆连接方式均不作限制。
3.2.2物理服务器规划
我们以当前所掌握的硬件资源情况为前提，进行服务器规划。
结合客户对性能型及容量型存储的实际需求，后期可能需要进行一定的调整。
目标是确保此规划既可满足用户对存储的需求，又可以满足业务服务器对计算性能、计算资源的需求。
且架构上充分考虑扩展能力，在任何节点负载达到阈值时，都可以实现横向无缝扩展。
根据实践经验，内存复用比默认值设置为1:
2。
CPU每个物理核心的资源复用比默认为1:
16，当然也可以根据实际负载进行修改。
高复用比配置，可以让集群创建出更多的云主机，提升资源利用率。
在负载较轻时，非常适合。
若业务量持续提升，CPU压力较高（50%以上），可以将此参数调低，降低可创建的云主机数量，从而提供更强的计算能力。
通常情况下，推荐的默认配置足以支撑业务使用场景。
依据客户对云主机的实际需求，套餐方面可以支持1C、2C、4C、8C、16C等，CPU内存比为1:
2，1:
4等。
每台设备开启HT后为40个线程，扣除系统及Ceph存储的开销，按照4C（4vCPU+8GBMem）的标准套餐，且每台云主机都是80%以上高负荷的状态时，每台物理机约可以承载8台云主机；若按照40%的实际负载计算（实际生产环境中往往低于这个值），每台物理机可以承载约16台4C标准配置的云主机。
存储容量规划方面，18台计算存储超融合节点，提供的性能性存储空间约为：
0.48TB*3*18/3=8.64TB；容量型存储节点提供的容量型存储空间约为：
6TB*10*6/3=120TB。
此方案，即可满足云主机系统以及对性能敏感的业务的使用需求，又可以满足容量型的数据存储需求。
详细的硬件配置规划推荐如下：
设备
配置说明
品牌
数量（台）
Hyper节点
物理服务器
架构：
1/2U；双电源；8/12盘位（SSD盘直接用托盘）；
CPU：
E5-2660v3（2.6GHz/10C/25MCache）*2；
内存：
96GB（16*6）；
系统盘：
SAS/SATA硬盘*2；
硬盘：
IntelDCS3510480GBSSD硬盘*6；
千兆网卡：
Intel芯片千兆网卡（两端口）*1；
远程管理卡：
支持IPMP，基于IP的远程管理卡；
-
3
Network节点
物理服务器
架构：
1/2U；双电源；8/12盘位；
CPU：
E5-2660v3（2.6GHz/10C/25MCache）*2；
内存：
96GB（16*6）；
系统盘：
SAS/SATA硬盘*2；
万兆网卡：
Intel82599ES芯片万兆网卡（两端口）*1；
千兆网卡：
Intel芯片千兆网卡（两端口）*1；
远程管理卡：
支持IPMP，基于IP的远程管理卡；
-
3
Compute超融合节点
物理服务器
架构：
1/2U；双电源；8/12盘位（SSD盘直接用托盘）；
CPU：
E5-2660v3（2.6GHz/10C/25MCache）*2；
内存：
96GB（16*6）；
系统盘：
SAS/SATA硬盘*2；
硬盘：
IntelDCS3510480GBSSD硬盘*3；
RAID卡：
支持RAID1和RAID10，支持“直穿”功能（或Non-RAID模式）
万兆网卡：
Intel82599ES芯片万兆网卡（两端口）*1；
千兆网卡：
Intel芯片千兆网卡（两端口）*1；
远程管理卡：
支持IPMP，基于IP的远程管理卡；
-
12
Storage节点
物理服务器
架构：
2U；双电源；8/12盘位；
CPU：
E5-2660v3（2.6GHz/10C/25MCache）*2；
内存：
96GB（16*6）；
系统盘：
SAS/SATA硬盘*2；
硬盘：
SATA硬盘/6TB/3.5寸/7200PRM企业级/*10；
RAID卡：
支持RAID1和RAID10，支持“直穿”功能（或Non-RAID模式）
万兆网卡：
Intel82599ES芯片万兆网卡（两端口）*1；
千兆网卡：
Intel芯片千兆网卡（两端口）*1；
远程管理卡：
支持IPMP，基于IP的远程管理卡；
-
6
合计
-
-
24台
硬件资源的配置可根据实际的业务负载及需求进行调整，若有任何疑问，可随时进行沟通。
3.3网络规划
3.3.1UnitedStackSDN介绍
与传统解决方案不同，UnitedStack有云的SDN（软件定义网络）网络使用户的虚机的网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并能够灵活配置的网络。
基于Neutron、OVS、VXLAN、NameSpace等技术，SDN网络将所有物理世界的网络设备都被设计成了可操作的网络对象。
只需要在管理面板点击配置，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能，仅仅使用传统交换机等网络设备，而无需网络设备支持SDN，支撑了更灵活便捷的网络扩展。
UnitedStack有云SDN提供所见即所得的VDC网络环境。
VDC网络是一个独立的虚拟私有数据中心，其内部的网络划分，如网络子网及IP等都与外部网络及其他VDC相互独立，网络划分只需按照用户需要进行，几乎无需考虑其他因素。
VDC示意图如下：
UnitedStack有云SDN的具体架构图示意图如下：
从上图可以看到，UnitedStack有云SDN的架构有几个重要特点：
1）集中控制
UnitedStack有云SDN将网络设备上的控制权分离出来，由集中的控制器管理，无须依赖底层网络设备（路由器、交换机、防火墙），屏蔽了来自底层网络设备的差异。
而控制权是完全开放的，可以自定义任何想实现的网络路由和传输规则策略，从而更加灵活和智能。
2）控制转发分离
UnitedStack有云SDN控制层通过向转发层下发流表来指导最终流量的转发，转发层作为与控制层松耦合的底层转发组件，只需根据自身流表转发流量即可，无需关心控制层是如何计算转发表。
同时，在使用中无需对网络中每个网络设备反复进行配置，网络中的设备本身就是自动化连通的，只需要在使用时定义好简单的网络规则即可。
在需要更高灵活性和高度自动化网络控制时，可以通过界面操作或者编程的方式对SDN网络其进行配置，以实现更便捷的数据交换。
3）开放的可编程接口
UnitedStack有云SDN作为一种新型网络创新架构，基于Neutron实现。
借助核心技术OpenFlow将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制，为核心网络及应用的创新提供了良好的平台。
在此同时，UnitedStack有云的SDN提供了符合OpenStack社区开源标准的API，用户可以开发应用程序灵活的控制自己的SDN网络，极大的方便了用户定制自己需要的网络及其策略。
3.3.2网络设备及其它设备配置要求
●最少部署于3个机柜，每个机柜最少部署4台服务器
●核心交换机，需要2台带4口40G全线速的48口全万兆L3交换机，采用堆叠方式（或其他高可用方式）
●接入交换机部分，每个机柜需1个带2口10G全线速的48口全千兆L2交换机
●为实现机柜级冗余（容许单机柜掉电或TOR失效），需要服务器在每3个机柜拓扑中对称部署
3.3.3网络设备推荐
设备
配置说明
数量（台）
备注
核心交换机
32口全40Gb端口L3交换机
2
已考虑后续扩展性
万兆交换机
48口全万兆L3交换机；
4个40G全线速端口
机柜数*3
已考虑后续扩展性
千兆交换机
48口全千兆L2交换机；
2个10G上行端口
机柜数*1
已考虑后续扩展性
对于硬件规划方面，如有任何疑问，可以进行具体沟通。
3.3.4网路拓扑结构
●XE为万兆网卡，GE为千兆网卡。
●拓扑中两个千兆的Switch在物理上可以是1个千兆交换机用VLAN划分，同理万兆交换机也是如此。
●图中3种角色：
HyperNodes、ComputeNodes、NetworkNodes的硬件需求接近。
细微区别为NetworkNodes不需要SSD磁盘，HyperNodes需要6块SSD；Hypernodes不需要万兆网卡。
2.3.5逻辑拓扑结构图
具体规划如下：
虚拟机通信均由虚拟化网络SDN组件提供，NAT能力由物理拓扑中的网络节点提供。
3.4存储规划
UnitedStack有云存储使用基于Ceph的分布式存储系统提供存储服务。
分布式存储系统直接部署在X86服务器上，因此省去购买价格昂贵的商业存储，其成本远低于传统的商业存储方案。
Ceph分布式存储系统的核心优势是，一套存储可以同时提供块存储、对象存储和文件存储。
一套存储系统就可以满足所有类型的存储需求。
在部署上，计算节点自带SSD形成高性能的存储池，构建计算存储超融合节点；使用单独的服务器挂载SATA磁盘，构建大容量的存储池。
池的划分使用Ceph内建的pool概念实现，支持在线
升级会员 