基于以太网光纤通道技术的新媒体大楼网络系统设计与部署.docx

基于以太网光纤通道技术的新媒体大楼网络系统设计与部署.docx

《基于以太网光纤通道技术的新媒体大楼网络系统设计与部署.docx》由会员分享，可在线阅读，更多相关《基于以太网光纤通道技术的新媒体大楼网络系统设计与部署.docx（50页珍藏版）》请在冰豆网上搜索。

基于以太网光纤通道技术的新媒体大楼网络系统设计与部署

基于以太网光纤通道技术的新媒体大楼网络系统设计与部署

摘要

新媒体大楼计算机网络系统是新媒体大楼网络业务的重要基础设施，是实现网站、办公应用的关键途经和保障，因此要建立一个安全、高效、稳定、支持多种网络服务的，为新媒体大楼网络各项业务提供良好应用环境的网络系统。

以太网光纤通道（FibreChanneloverEthernet，FCoE）技术是在以太网上直接传输光纤协议，可以使得存储网络中的数据能够轻易跨越光纤和以太网的界限，来降低用户在存储网络组件和管理方面的成本和复杂性。

FCoE不仅能够克服一些FCSAN的固有局限性，同时也能够帮助用户构建更好的虚拟化策略。

针对这些特性，所以为用户选择进行FCoE的搭建，让用户有刚好的数据储存和传输体验，另外也丰富了自身的眼界掌握了新的技术。

本文针对新媒体大楼的基于以太网光纤通道技术和数据中心桥接技术的网络集成系统进行设计和部署。

本文首先阐述数据中心桥接技术和以太网光纤通道技术；介绍了新媒体大楼内部局域网的需求和设计方案；然后对新媒体大楼部署FCoE进行分析设计，深入讨论如何部署FCoE，如何进行设备方面的选择。

最后，讨论网络系统的后期验收和质量服务保证，并且总结在此项目的应用和实施中所遇到的问题和困难，以及所得到的关于以太网光纤通道（FCoE）实施方面的经验。

关键词：

　融合网络，以太网光纤通道，数据中心桥接，

Abstract

NewMediaBuildingcomputernetworksystemisthecriticalinfrastructureofthenetworkbusiness,Itispassingthroughandprotectkeysitesandofficeapplications,soestablishmentofasafe,efficient,stableandsupportsavarietyofnetworkservices,networksystems,whichprovideagoodenvironmentforthebusinessofthenewmediabuildingnetwork.

Ethernetfiberchanneltechnology（FCoE）isopticalfibertransmissionthroughEthernetprotocol,TostoredatainanetworkcaneasilycrosstheboundariesofEthernetandopticalfiber.Reducesthestoragenetworkconstructionandmanagement’scostandcomplexity.FCoEcannotonlyovercomesomeinherentlimitationsofFCSAN,atthesametime,itcanhelpuserstobuildbettervirtualizationstrategy.Accordingtothesefeatures,soFCoEsetupforusers,allowsuserstohavebetterdatastorageandtransmissionofexperience,butalsoenrichedmyvisionmasternewtechnology.

Inthispaper,thebuildingofthenewmedianetworkintegrationsystembasedonEthernetFibreChanneltechnologyanddatacenterbridgingtechnologydesignanddeployment.Firstly,expoundedtheDataCenterBridgingandEthernetFibreChanneltechnology;IntroduceNewMediaBuildinginternalLANneedsanddesign;ThenanalysisanddesignofnewmediabuildingdeployFCoE,anddiscussionofhowtodeployFCoE,andhowthechoiceofequipment.Finally,wediscussthepost-acceptanceandqualityofthenetworksystem,andsummarizestheproblemsanddifficultiesencounteredintheapplicationandimplementationoftheproject,andtheexperienceontheimplementationofFibreChanneloverEthernet（FCoE）.

KeyWords：

　Convergednetwork，FCoE，DataCenterBridge（DCB）

图目录

表目录

第1章绪论

1.1课题背景

随着数据中心（DataCenters）规模扩大和组网复杂性的增加，从多种不同业务应用所产生的流量也使管理技术变得更为复杂和成本高昂，随着近来以太网速率的新发展（10Gbit/s已经是成熟的标准并得到广泛的应用，40/100Gbit/s仍然在开发中），以太网已经成为下一代数据中心存储与数据传送技术融合最有吸引力的技术。

数据中心技术不断地发展，使得以后的存储网络必须集成数据中心网络，光纤通道（FibreChannel，FC）凭借其成熟可靠已经广泛应用SANs网络中。

并且，以太网技术是局域网（LAN）理论以及事实上的标准。

现阶段部署的光纤通道技术最高传输速率为4Gbit/s，它不能很快达到8Gbit/s的速率水平。

而以太网已经支持10Gbit/s，并且40/100Gbit/s标准也在快速推进中，趋势表明部署全以太网技术是满足服务器集群和网络融合需要的最为关键的解决办法。

以太网光纤通道（FibreChanneloverEthernet，FCoE）技术是把光纤协议放在以太网上进行传输，使得存储网络中的数据在光纤和以太网中无界限传输，从而节约用户构建网络的成本，降低管理方面的复杂性。

数据中心以太网（DataCenterEthernet，DCE）的概念就这样被提了出来。

1.1.1数据中心I/O整合的出现

传统的FibreChannel（FC）技术凭借它的高速、高效、可靠和长距离传输，广泛的应用在存储网络（SAN）中。

但是以太网技术凭借它自身的很多优点一直在网络领域中占据统治地位。

这导致在组建数据中心网络时会需要分别建立很多套网络，其中用以太网承载IP流量，用FibreChannel承载储存流量，由InfiniBand来承载高速集群I/O。

今天的数据中心环境（FCoE/CEE技术引入前）

特点：

1.服务器设备通过FC交换机连接的存储网络（SAN）。

2.服务器设备通过以太网交换机连接的IP网络。

3.服务器设备上同时连接IP网络和存储网络。

由于多种技术之间不存在联系（如：

局域网与储存网），使得所有的数据中心服务器都需要有很多不同的I/O接口也就是服务器的网卡，它们有用于数据交互的局域网接口，以及数据访问的存储接口和某些网络需要的特定接口等等。

数据中心中会同时存在多个独立运行的网络，这不仅会使数据中心的布线很复杂，还会因为不同的网络、接口所产生的不同问题导致需要增加不同类型的人员投入以及管理方面的成本投入。

这样就造成了大量的线缆、能耗和费用。

I/O整合的思路是改变服务器上要有多张网卡分别连接各种存储、以太网等的现状，在进行整合后只需要一张网卡。

I/O整合与统一的设想是使适配器、交换机或存储系统使用相同的以太网物理基础实施来传送各种各样的类型流量和处理要求。

数据中心管理人员可以减少主机的总线和服务器的适配器、线缆，减少电力开支、设备投资和管理成本。

对于网络管理人员来说就是在一个网络中对不同流量类型进行安装和操作。

进行I/O整合会把这些网络都融合到以太网上，在一条物理林路上同时跑多个网络流量（以太网的流量、存储的流量），因此建设I/O融合的数据中心以太网（DataCenterEthernet，DCE），能够最直接地减少线缆和能耗，从而降低运维成本，这将会是数据中心网络的发展趋势。

数据中心以太网还有一个名字那就是融合增强型以太网（ConvergedEnhancedEthernet，CEE）。

如图1.1所示。

图1.1I/O整合

1.1.2增强以太网

传统的以太网由于在传输上是不可靠的，所以当网络繁忙时可能发生丢包或者传输故障，然而SAN储存网络的对于数据的传输不允许有丢包现象的发生，因此不适合在存储信息的传输过程中使用。

FCoE（FiberChannelOverEthernet）协议可以让传统的以太网承载光纤通道协议的数据传输。

但是，光纤通道数据无法在传统的以太网上进行传输，想要实现这一功能以太网需要拥有阻塞管理和流量控制功能，并且能够降低延迟和不丢弃数据包，于是出现了增强型的以太网。

增强型以太网，并不是对传统以太网的加强和修改，而是由IEEE数据中心网桥（DataCenterBridge，简称DCB）工作组提出的一系列的以太网扩展协议，从而能够增强传统以太网在传输方面的可靠性。

增强型以太网的两个主要特征是：

第一，它是在以太网基础上进行扩展并且支持将上面提到的三类网络整合起来；第二，支持不丢包传输，从而可以支持那些对传输可靠性要求极高的服务。

IEEE数据中心网桥（DataCenterBridge，简称DCB）工作组定义的标准如下：

基于优先次序的流量控制的802.1Qbb标准；

冲突通知的802.1Qau标准；

增强的传输选择的802.1Qaz标准（包含数据中心桥接交换协议DCBX）

虚拟机支持IEEE802.1Qbg

另外，IETF的TRILL协议也将成为数据中心重要协议。

[9]

1.2课题的研究目的、研究内容和拟解决的关键问题

本文以本人实习期间参加的一个中央人民广播电台大楼（后简称新媒体大楼）网络集成项目为例，对以太网光纤通道技术在网络系统中的应用和实施进行了阐述。

研究目标是：

新媒体大楼计算机网络系统是新媒体大楼网络业务的重要基础设施，是实现网站、办公应用的关键途经和保障，因此要建立一个安全、高效、稳定、支持多种网络服务的，为新媒体大楼网络各项业务提供良好应用环境的网络系统。

研究内容：

本人在此项目中主要负责互联网接入和FCoE的部署与配置方面的工作。

主要研究如何根据新媒体大楼在对数据传输的可靠性和高效性方面进行优化。

故此引入了增强型以太网概念，主要是为了更好地完成新媒体大楼在数据传输的可靠性和高效性方面的要求。

以FCoE技术为参考，制定内网设计的重点，满足用户的网络需求。

利用FCoE技术将光纤通道信息封装在以太网包内，从而让服务器-SAN存储设备的数据流量可以在以太网上进行传输，而不用专门组建FCSAN网络。

以下为本人在此次项目中的工作内容。

首先，分析确定中央人民广播电台的内部局域网的需求和方案设计原则。

规划内部局域网的总体结构图，对整体FCoE进行设计和部署。

其次，根据所得的需求方案和整体的设计思路，对互联网接入部分和内部局域网部分进行设计与配置。

分层进行部署与实施。

并且引入增强型以太网概念和FCoE技术的部署和应用。

也对该网络系统所用的数据中心级以太网交换机进行详细的介绍，并且在选择设备上进行比较细致的分析。

最后，主要是针对后期验收和质量服务保证设计的相关事宜。

分别对用户的内部局域网使用情况进行了分析和验收，看是否达到预期的水平。

并且总结在此项目的应用和实施中所遇到的问题和困难，以及所得到的关于以太网光纤通道（FCoE）实施方面的经验。

1.3本章小结

虽然FCoE技术还不是很成熟，但是FCoE的应用越来越多，FCoE正在开发在FCSAN范围的应用并推进用户虚拟化部署的实现。

从国外媒体最新的研究报告可以看出，FCoE不但能够克服一些FCSAN的原有的局限性，同时也能更好的帮助用户解决构建虚拟化策略的问题。

将FCoE作为整个网络的基础时能够降低数据中心设备或建立新的数据中心时所花费的成本。

FCoE可以在在数据中心减少I/O适配器、电缆和交换机。

但光纤通道和以太网融合就意味着存储管理员和网络管理员必须分担管理责任，或者一个团队由另一个团队来管理。

如果两个团队合作不利，在组织内部也将是个大问题。

总的来说，FCoE的实施不是技术本身的优劣问题，很多现实问题阻碍了它的普及。

第2章FCoE的概述

2.1FCoE与DCB的关系

随着当前数据中心的演进，对于网络的要求越来越高。

很多应用都要求网络传输过程中不允许有丢包现象的发生。

在处理丢包的能力方面各种应用都存在差异。

丢包对不同协议的影响是不同的，不同的应用会以不同的方式响应：

一些应用允许有丢包发生，它会重新发送所丢数据包使数据恢复。

除了以太网能够支持这些情况外，其它应用都不能允许有丢包情况发生，要求在整个传输过程中不能有丢包产生。

在以太网上传输光纤通道流量就是无丢包的一个典型示例。

如果想让以太网满足无丢包的要求，那么就需要制定一种可以通过以太网提供无损服务的方法。

IEEE数据中心桥接的流量管理扩展提供了这一能力。

DCB-DataCenterBridge，数据中心桥接技术，是用来增强传统以太网的，可以用它来改进以太网络和数据中心管理。

DCB又被称为ConvergedEnhancedEthernet（CEE）、DataCenterEthernet（DCE,Cisco的商标）、EnhancedEthernetforDataCenter（EEDC）等。

DCB在以太网基础上增加了以下四个基本的功能：

流量分化——DCB能区分LAN、SAN和IPC流量。

无丢失——SAN流量的要求。

最优桥接——允许数据中心中最短的路径桥接。

配置管理——提供了FibreChannel和Ethernet基础架构配置管理功能。

[9]

这种增强后的以太网被称为无损以太网，正如名字所说的，它是在传统以太网的基础上通过对拥塞的控制和暂停机制保证不会产生丢包现象。

无损以太网利用802.1Qbb基于优先级的流控（PFC）[2]来保证数据帧在传输过程中的暂停机制，是对802.3x的一种增强，它可以把一条物理链路分成8个虚拟链路，针对每条虚拟链路都能进行暂停的管理和优先级的处理。

无损以太网中另一种关键的协议是802.1Qau后向拥塞通知协议，也叫量化拥塞通知（QCN）[1]。

它的作用是当检测出拥塞发生时，汇聚的设备会创建一个拥塞通知消息CNM说明拥塞的程度，并且反压给导致拥塞的设备，然后收到该消息的设备会依据CNM的信息指示降低导致拥塞发生的的数据传送速率。

因为CNM消息在传输时需要要跨网络中的很多节点，所以在拥塞发生后需要一段时间才能产生显著效果。

所以将QCN与PFC联合起来使用，在PFC快速缓解网络拥塞的同时，QCN能从根本上解决拥塞问题。

QCN可以看做是PFC的补充解决方案[15]。

另外还有802.1Qaz，该标准包括增强传输选择（ETS）[3]、自动发现和能力交换协议（DCBX）两部分[3]，802.3bd，该标准是为支持802.1QbbPFC[4]而对802.3媒体访问控制（MAC）控制帧[5]进行的修订，用于通过修订后的M_CONTROLPFC原语实现对各优先级的PFC功能的使能和流量控制。

这些就都不在此做详细的介绍了。

在上文对数据中心桥接技术做了简单的介绍，它是对以太网的一种增强技术，使传统以太网具备了不丢包的能力，也就是刚才所提到的无损以太网。

实现这种网络实际上是为了支持FCoE技术，它将传统的SAN数据在以太网上进行传输。

由于SAN中的FC协议要求无丢失，所以FCoE在将SAN数据在以太网中传输时能够保证不丢包。

最终实现网络的融合和统一。

2.2FCoE的工作原理

FCoE拆开来讲就是FibreChannelOverEthernet，从字面上理解就是光纤通道在以太网上。

简单的来说就是在以太网上传输传统的FC数据。

FCoE是一种新的协议，它将光纤通道技术扩展到了以太网环境之中。

FCoE结合了两种先进的技术：

光纤通道技术和以太网技术。

光纤通道技术在SAN领域里占据统治地位；以太网技术受到了所有服务器和数据中心的支持，为最终用户提供更为丰富的网络选择。

FCoE协议规定了如何在以太网上映射光纤通道技术，这是独立于以太网的（参看图2.1）。

该协议对光纤通道通信的所有结构都进行了保留，通过渐进的方式来实现I/O整合，保留了光纤通道在各个方面的特点，同时也充分的利用了企业现有的工具和SAN网络。

2.2.1FCoE的封装

光纤通道结构的封装是把光纤通道映射到以太网上。

光纤通道和传统的网络都分成了很多层且每层都有不同的功能。

光纤通道分为五层，从FC-0到FC-4。

以太网分为七层，其中包含了一系列的物理和数据连接层协议。

FCoE提供了在以太网上传递FC-2的能力（如图2.1和图2.2所示）。

以太网通过以太网层传递上面的光纤通道层：

FC-3和FC-4。

图2.1FCoE映射

图2.2FCLayers

FCoE是一种新的协议，它将光纤通道技术扩展到了以太网环境之中。

FCoE结合了两种先进的技术：

光纤通道技术和以太网技术。

光纤通道技术在SAN领域里占据统治地位；以太网技术受到了所有服务器和数据中心的支持，为最终用户提供更为丰富的网络选择。

FCoE协议规定了如何在以太网上映射光纤通道技术，这是独立于以太网的（如图2.3所示）。

该协议对光纤通道通信的所有结构都进行了保留，通过渐进的方式来实现I/O整合，保留了光纤通道在各个方面的特点，同时也充分的利用了企业现有的工具和SAN网络。

图2.3FCoE如何把光纤通道封装进以太网中

2.2.1.1寻址

因为具备了以太网的属性，FCoE使用MAC寻址机制在网络节点间传递信息包。

光纤通道寻址需要终端到终端的认知。

FCoE具有寻址和将光纤通道终端地址解析为以太网MAC地址的功能。

2.2.1.2安全性

通过使用IEEE802.1Q标签，在以太网中能够部署多个VLAN，物理的网络就会被分割成为独立的虚拟网络。

在VLAN中，FCoE通信可以和IP通信分离，域就彼此隔离，一个网络看不到另一个网络上的通信。

2.2.2FCoE交换技术

想要在网络中部署FCoE技术，就必须要使用FCoE交换机来组建拓扑。

只有用支持DCB和FCoE的交换才能组建FCoE结构，并且这些交换必须能够与FC交换实现互操作，支持所有FC高级特性，并且在FC和FCoE结构上有相同的运行方式[24]。

同时支持DCB和FCoE的交换机都带有10Gb以太网（GbE）端口，并且可能有4Gb或8GbFibreChannel端口。

这使得这些交换机能够一起处理所有的LAN和SAN流量，而不是将这些流量转发到数据中心其它位置的现有的LAN和SAN基础架构。

如Cisco的Nexus系列交换机就是为FCoE设计的。

2.3FCoE的优势

2.3.1布线简化

由于FCoE将原先的局域网LAN数据和区域储存SAN数据整合在了一起，最直接带来的就是机架在布线上的简单化。

原先每台服务器至少需要四个接口：

两个NIC和两个HBA，而现在的每台服务器只需要两个FCoE适配器就可以了。

同时还节省了PCI插槽。

由于能够在同一根物理线缆上同时传输FCoE和IP，所以导致减少了机房线缆的数量，每个机架上的线缆数量都能减少一半。

在一个普通的40个服务器的机架上，就可以将原来的80根以太网连接线和80根光纤通道连接线缩减成80根FCoE连接线。

线缆数量的降低带来的好处是直接降低了布线的成本，并且也降低了线缆发生故障的可能。

布线结构变得更为简单合理，方便日后的整改。

2.3.2集中管理

将FCoE部署在数据中心网络接入层当中，可以使其不会影响当前的数据中心管理工作。

CNA聚合网络适配器有一个以太网接口和一个光纤通道触发器，操作系统把它看成是两个物理设备，聚合网络适配器可以在硬件上实现FCoE，或者可以使用一个软件触发器，也就是服务器适配器。

这种技术让现有的聚合网络相对于操作系统和应用来说变得更加明了，网络管理员和系统管理员可以分别以自己的方式来管理各自的域。

这种管理模式的一致性降低了FCoE布署的难度，同时也降低了运行成本[12]。

并且FCoE无需改变SAN的运行管理模型，FCoE服务器可以访问通过SAN连接的存储设备，实现了对已有FCSAN的投资保护。

2.3.3高效性和可靠性

目前，已经有了10Gbps的以太网，甚至已经开始讨论40Gbps和100Gbps的传输机制，FCoE可以充分享受网络技术飞速发展为其带来的高速优势。

又因为FCoE具有无损以太网的特性，能够使网络没有丢包产生，这能够满足一些对数据传输要求很高的企业的需求。

在数据的传输过程中会较之以前更加爱的高效和可靠。

2.3.4降低能源消耗

调查显示，数据中心设备的能耗在整个数据中心能耗中占到了超过50%的比重。

到目前为止，消耗的能源最多的是服务器，存储和网络的比例相对较小。

如果数据中心能够减少使用NIC和交换机的数量，那么能耗就会大为降低，这一结果同时也降低了数据中心供电和制冷的能耗。

数量更少的线缆同时也意味着机架从前向后将会有更好的空气流通，从而也提高了制冷的效率。

2.4本章小结

本章介绍了DCB和FCoE的关系，FCoE的工作原理以及FCoE所带来的变化。

FCoE的产生使得企业可以有机会真正的把他们的以太网同光纤通道网络以最佳的方式连接在一起。

FCoE和强化后的以太网相结合，让数据中心能够整合I/O和网络基础架构，既节约了布署成本，也降低了运行成本，同时却提高了灵活性并增强了管理员对网络的控制能力。

所以在数据中心网络使用FCoE技术是一种十分正确的选择。

第3章新媒体大楼FCoE的设计

3.1新媒体大楼LAN网络需求分析

图3.1新媒体大楼网络总体拓扑图

3.1.1互联网接入部分

如图3.1为新媒体大楼的总体拓扑图分为互联网接入部分和内部局域网部分。

外网是新媒体大楼建设的重要组成部分，承担着业务数据的处理与存储、系统运行与管理、身份认证与安全监控等核心业务；承载三个网站采编、发布、运行维护、安全监控等各种应用，及内部数据交换和信息共享等。

因此，外网建设的质量直接影响着整个网站系统的建设质量。

在进行互联网接入的设计时，针对具体业务系统、用户需求、网络技术和基本设计原则，着重考虑了下列问题：

应用结构

目前的应用结构基本上都采用Client/Server架构，越来越多的用户终端通过网络与中心服务器发生联系，数据交换大量地集中在网络主干。

多媒体需求

在Web2.0时代，网站应用充斥着大量多媒体内容，这就要求在网络设计中充分考虑多媒体信息传输的要求。

主干路由

由于越来越多的流量大量穿梭于网络的边界，使得虚网间的路由成为主要瓶颈，提供网络间的高速路