在HACMP下使用EtherChanne.docx
《在HACMP下使用EtherChanne.docx》由会员分享，可在线阅读，更多相关《在HACMP下使用EtherChanne.docx（13页珍藏版）》请在冰豆网上搜索。
在HACMP下使用EtherChanne
在HACMP下使用EtherChannel
（v100220）
作者
门斌
审核
黄沛张驰
分类
IBM
子类
HACMP
更新时间
2011.6.14
关键字
EtherChannelHACMP
摘要
在HACMP下使用EtherChannel
主要适用环境
IBMP系列小型机
目录
在HACMP下使用EtherChannel1
在HACMP下使用EtherChannel1
AIXEtherChannel概述2
HACMP环境中的EtherChannel3
1.检测以太网卡和网卡电缆6
2.创建EtherChannel接口6
3.在新的接口en6上配置IP7
4.增加boot和serviceIP到HACMP拓扑（topology）中7
5.创建一个新的资源组，并且给它分配ServiceIP7
6.同步集群（Cluster）8
7.启动集群服务8
8.测试NIC冗余是否工作，确认HACMP并未受其影响8
HACMP在AIX5.1和AIX5.2中支持EtherChannel的声明9
AIXEtherChannel负载平衡选项技术文档10126010
简介：
IBMp系列的AIX操作系统管理员可能因为各种原因对应用HACMP和EtherChannel的组合感兴趣，如一些软件可用性方案“反对”HACMP额外的备卡，通过使用EtherChannel,HACMP的设置可以“遮掩”备卡，从而给这些用户一个他们熟悉的外部表现。
此外，一些用户可能喜欢EtherChannel带宽聚集，负载平衡以及高可用性，等等。
在给出的实例测试中，我们使用AIX5.2中的EtherChannel功能实现一个“单一网卡”的IPAT。
EtherChannel负责提供独立于HACMP之外的本地网卡交换。
HACMP是完全独立的，根本不知道EtherChannel的存在。
在HACMP中一般不只使用一个网卡，但是EtherChannel使这种情况可以接受，因为在一个EtherChannel的伪设备中实际上有很多个物理网卡的存在。
因此，可以忽略集群（Cluster）同步时没有足够的网卡的警告信息。
本测试在不使用交换机的情况下实现EtherChannel，用“交叉网线”直接连接两个系统。
尽管PCI的热插拔以及硬件地址接管没有包括在HACMP的支持声明中，从我们的测试结果看来，PCI的热插拔在2004年5月软件升级中新加入的DAM（AdapterMembership）特点的支持下也能工作。
这意味着在SMIT中可以从一个运行的EtherChannel中移走网卡。
用户可以利用热插拔的特点更换网卡。
AIXEtherChannel概述
EtherChannel（EC）是一种端口聚合方法，多到八个以太网卡可以被定义作一个EtherChannel通道，对于远端的系统而言，只能看到一个IP地址和MAC地址，但是得到了八倍的网络带宽。
数据流将按照标准的方法分布到各个网卡，如果某一个网卡不能够正常工作，数据将会被自动地发送到其它可用的网卡上，而不会中断连接，当主EC上只有一个连接活动的时候，一个“失效”测试将触发一个对可选备份网卡的快速检测。
有两种“失效”测试被提供，包括到网络的物理网卡的连接测试，以及可选的到用户指定节点的TCP/IP路径测试。
当错误被检测到时，备份网卡上的MAC地址和IP地址将会被激活。
当主EC上的至少一个网卡被恢复后，系统将会重新使用主通道。
AIX5.1的NIB（NetworkInterfaceBackup）配置模式在5.2中被替换和增强，新的方法是用一个单独的网卡EC和一个备份网卡，提供以前所不具备的在主网卡和备份网卡的优先级设置，并且在AIX5.2最新版本中提供的DAM（DynamicAdapterMembership）增强，允许在不中断连接的情况下，动态地配置EC中的网卡。
所有的多网卡通道在网络交换机上都需要一个特殊的按EC或者IEEE802.3ad配置的端口。
大多数情况下，交换机将配置为EC模式，但是，如果交换机不支持EC或者如果公司已经把IEEE802.3作为标准，就需要在交换机和AIX系统配置802.3ad。
另一方面，对于单网卡连接，不需要在网络交换机上有什么特殊设置。
这包括单网卡EC和备份网卡连接。
最后，不用交换机在两个AIX间运行EC也是可能的，本文即使实现这样一种没有交换机的测试。
HACMP环境中的EtherChannel
最近几年，在HACMP中配置IPAT已经有了很大的进展，在图1a,1b,和1c中描述了三个主要的IPAT配置场景。
第一个拓扑模式,IPATviaReplacement,在分开的子网中包含boot网卡和standby网卡。
当集群服务启动的时候boot地址被换成service地址。
尽管这种方式的有效性强，但是在需要实现多个服务IP地址的环境下这种方式是不可取的。
集群的管理员不得不利用pre-和post-events定制其环境建立额外的别名，并且需要确认这些别名在下一次接管发生前被删除。
第二种：
HACMP4.5开始引入了IPATviaAliasing作为缺省的拓扑模式。
在这种新的模式中，standby网卡的功能被另外一个boot网卡所替换。
子网需求的不同点是还需要一个另外的子网，每一个boot网卡需要它自己的子网，并且任何service或persistent的IP地址将在其本身的子网上操作，所以一共三个子网。
当集群服务启动并且需要serviceIP地址的时候，bootIP地址并不消失。
这个设计和第一种是不同的，在同一个HACMP网络中有多个serviceIP地址存在并且通过别名来控制。
在图1c中的第三种模式，把底层的以太网卡藏到一个单一的“ent”网卡的接口之后。
该模式不是对前述任何一种方式的替换，而是可以和前述的任一种模式共同存在。
因为在每一个节点EC都被配置成冗余方式，可以在HACMP中使用IP别名定义它们每一个作为单一网卡网络。
因为在每个节点只有一个网卡被定义，所以只有两个子网，一个是用作boot（每个节点的基本IP地址），另一个是用于提供高可用服务。
在图1c中，“en6”IP接口配置在ent6网卡之上（EtherChannel伪设备）。
每个EtherChannel都有一个永久的IP地址，当HACMP服务没有运行的时候，用来维持到子网的连接。
下面是用cllsif命令列出的拓扑结构的实例：
尽管在我们的测试中没有配置，我们仍建议配置串行网络（serialnetwork）用于阻止集群中可能出现的分区和节点隔离情况。
一旦如此配置了，在连接上丢失的数据传输可以通过netstat–v看到，并且错误信息将被写入错误报告中。
由于切换是由EtherChannel的逻辑来负责的，所以只需要很少的HACMP网卡的维护。
我们可能不会再看到本地的SWAP_ADAPTER,FAIL_INTERFACE或FAIL_STBY事件,并且当本地网卡失效时也不会再有相应路由的删除。
测试环境
测试环境由以下几个部分组成
⏹两台pSeriesp630系统（分别命名为neo和trinity）
⏹AIXV5.25200-03
⏹HACMPv5.1（5.1.0.5）
⏹以太网络连接ent0到ent6:
ent1-管理网络连接，连到以太网交换机
ent4–未使用
ent6-EtherChannel（由ent2,ent3andent0组成）
⏹三根UTP以太网交叉线（参见参考文档以得到详细说明）
图2演示了测试环境。
neo和trinity,是两个p630的节点，每个上面有一个集成的网卡（ent0）和一个4端口的以太网卡（ent1–ent4）。
四个端口中的第一个（ent1）提供正常情况下的访问连接，在我们的测试中，不使用也不干扰这个接口。
四个端口中的最后一个（ent4），也不做配置。
我们的测试配置一个带有备份连接的双连接EC，通过配置集成的ent0端口消除4端口以太网卡的单点失败–网卡ent2和ent3变成主通道，而ent0转为备份连接。
在一般情况下，双连接主通道将会被连接到一个以太网交换机（如图1c中所示）备份网卡将会被连接到第二个交换机提供交换机冗余。
但是，因为在我们的实验室中，没有额外的以太交换机可以使用，因此，我们通过使用交叉网线直接连接两个系统上的三个端口。
这种方法可以在不使用交换机的情况下，完成我们的测试。
我们使用netstat–vent6命令去观测EC上网络交通在网卡间的分布。
但是，这样确实局限于仅两个系统之间的连接。
同时，在我们的“无交换机”环境中，触发备份网卡似乎是瞬时发生的，在有交换机的应用中，会有一个短暂的延迟。
在EC中所有的端口被配置成同样的速度，双工模式，以及TCP/IPMTU大小。
这是正常的EC配置。
尽管在某些情况下，不匹配的网卡也可能可以工作，AIX的软件也不禁止这种配置，但是用户应该进行匹配的设置，这样做可以减少出问题的机会以及排错的头痛！
在这方面网络交换机可能比AIX操作系统有更多的限制，因此有时候可以指望网络交换机强制这种匹配的配置。
配置过程
我们通过以下步骤搭建我们的系统。
首先按下述说明完成neo的配置。
1.检测以太网卡和网卡电缆。
2.创建EtherChannel接口
3.在新的接口en6上配置IP
4.增加boot和serviceIP到HACMP拓扑（topology）中
5.创建一个新的资源组，并且给它分配ServiceIP
6.同步集群（Cluster）
7.启动集群服务
8.测试NIC冗余是否工作，确认HACMP并未受其影响
对于未经配置的网卡，按照图2所示把它们连接到一起。
因为我们的网卡是配置过的，因此我们用smittyinet来删除ODM接口定义。
然后在两个系统中按照图2要求的IP接口定义MAC地址以及IP地址完成这些基本的配置步骤。
注意：
对于以前配置过的网卡接口，为了避免HACMP自动恢复可能带来的问题，所以要用smittyinet删除接口。
另一个方法是，ifconfigdown这个接口，然后deatch它，最后用rmdev删除其在ODM库中的定义。
在千兆以太网卡环境，用户可能通过配置超大传输帧（JumboFrame）来提高数据传输性能。
为了配置千兆EtherChannel，在第一步和第二步中，要Enable超大传输帧，并且一旦完成第三步的接口创建，要用smittychif设置9000字节MTU。
以下是详细过程
1.检测以太网卡和网卡电缆
所有参与到EC中的网卡应该被配置成同样的速度和双工模式（duplexmode）。
我们配置ent0，ent2，和ent3为100M，全双工。
1）使用smittyethernet配置速度和双工模式
2）确认三个网卡按图2所示连接两个系统
2.创建EtherChannel接口
使用smittyetherchannel配置EC，并且按下F7选择合适的网卡。
在我们的配置中，ent2和ent3组成主通道，ent0为备份网卡。
按以下所示的菜单选项建立EC接口ent6.
AddanEtherChannel/LinkAggregation
EtherChannel/LinkAggregationAdaptersent2,ent3
EnableAlternateAddressNo
AlternateAddress[]
EnableGigabitEthernetJumboFramesNo
Moderoundrobin
HashModeDefault
BackupAdapterEnt0
InternetAddresstoPing[]
NumberofRetries[]+#
RetryTimeout（sec）[]+#
注意：
在缺省的情况下，EC会使用通道中第一个网卡的MAC地址作为通道的MAC地址。
可以通过配置AlternateAddress为通道设置一个不同的MAC。
选择roundrobin模式是因为在这个双IP环境中两个连接都要被利用。
还有其它模式可以选择，参考EtherChannel文档，根据应用环境选择合适的模式。
如果EtherChannel聚合性能很差，或者roundrobin失败，表明有配置不匹配。
请检查超大传输帧（JumboFrame），交换机聚合配置，以及交换端口间MAC地址移动。
3.在新的接口en6上配置IP
使用smittychinet，按如下菜单选项进行配置。
并且在另一系统trinity上重复此步骤，但是使用不同的IP地址。
注意：
在这个过程中创建了en6接口，当使用一些TCP/IP的命令时，要特别注意一下en6，而组成EtherChannel的单独的网卡接口en0，en2，和en3并不存在。
4.增加boot和serviceIP到HACMP拓扑（topology）中
出于测试的目的，当定义HACMP时我们选择使用IP别名。
在每一个EC上配置bootIP地址（neo_boot2.2.2.1,trinity_boot2.2.2.2）。
然后定义serviceIP地址192.168.43.4和persistentIP地址。
尽管在我们的测试中忽略了非IP的串行网络，在实际应用的环境中，HACMP也应该配置非IP串行网络。
5.创建一个新的资源组，并且给它分配ServiceIP
我们使用一个serviceIP地址配置Cascading资源组。
因为我的重点是NIC冗余测试，我们通过忽略其它的资源以简化配置过程。
A）按如下路径进入smitty配置：
smittyhacmp然后选择InitializationandStandardConfiguration然后是ConfigureHACMPResourceGroups，再选择AddaResourceGroup，再选择Cascading，如下所示：
按回车键创建资源组，下一步就是增加ServiceIP到这个资源组。
B）smittyhacmp然后选择InitializationandStandardConfiguration然后是ConfigureHACMPResourceGroups，再选择Change/ShowResourcesforaResourceGroup（standard），然后选择刚创建的资源组，配置如下图所示：
6.同步集群（Cluster）
本文假设读者对HACMP软件已经非常熟悉，这里只是显示当HACMP拓扑结构被配置成单一的网卡网络之后的错误信息：
键入smittyhacmp然后是InitializationandStandardConfiguration然后VerifyandSynchronizeHACMPConfiguration
以上错误信息在实际的环境中将出现，因为这被看作一个单一网卡网络，也需要配置netmon.cf。
7.启动集群服务
在每一个节点执行smittyclstart，然后等待启动完成（node_up_complete.）
8.测试NIC冗余是否工作，确认HACMP并未受其影响
测试主要集中在两个方面，
（1）拔出一根网线，观察系统响应，
（2）确认HACMP没有察觉到“有网线被拔出”。
在每一个测试中，我们在一个客户节点运行ping命令，没有发现一个数据包丢失。
1）拔出ent3对应的网线。
这将导致后续的服务依存于ent2。
可以通过netstat和entstat命令来验证。
AIX在错误报告中有一个记录，但是HACMP并未察觉有错误发生。
以下是errpt显示的错误信息：
F77ECAC2
0624145904
T
H
ent3
ETHERNETNETWORKRECOVERYMODE
8650BE3F
0624145904
I
H
ent6
ETHERCHANNELRECOVERY
F77ECAC2
0624145904
T
H
ent2
ETHERNETNETWORKRECOVERYMODE
2）拔出ent2的网线。
这将会导致ent0备份网卡接管服务。
和前面的测试很相像，AIX记录“失败”在错误报告中，但是HACMP并未意识到任何变化。
因为我们使用交叉网线，所以拔掉网线在两个节点有同样的影响。
注意：
AIXV5.2（2004年7月以后）和V5.3的管理员可以用新的命令/usr/lib/methods/ethchan_config–fent6强加一个错误
3）我们拔出仅有的ent0的网线，这一次将导致EC失败。
HACMP将通知一个网络失败错误，并将导致“接管”过程。
但是，因为我们使用的是交叉网线，没有连接可以使用，资源组不能被使用，处在非联机状态。
4）停止集群服务，重新插上网线，然后重启节点。
5）在节点trinity再一次启动集群服务，使其重新获得资源。
在运行的EtherChannel环境中改变网卡设置
在新版的AIX5.2中，有一个新的功能，DAM（DynamicAdapterMembership）允许用户增加、删除或者改变网卡配置而不需要中断EtherChannel。
以下是在这种环境下需要特别考虑的几点事项。
⏹增加新的网卡到已经存在的EC中时，你需要考虑到EC伪设备的性能，这是由组成EC的所有网卡的共同属性来决定的。
可以使用entstat或netstat–v查看这一点。
如果这些网卡的性能不匹配，你将不能够动态地增加适配器到EC中。
并且将不得不选择只应用改动到数据库中。
在这种情况下，变动只是在系统重启或者EC被删除然后又重新配置后才起作用。
⏹测试故障行为时，要仔细考虑交换机的一些隐含问题。
当重新配置时，要记着在交换机上也重新连接和配置---交换机的聚合配置必须反映网卡的加入或者移走。
试着按照如下过程更换一个出了故障的网卡。
1.拔出相应的网线，用SMIT作需要的配置。
2.在网络交换机进行EC的配置。
3.重新插好网线。
观察和总结
我们在HACMP环境下实现EC的总体想法是正面和积极的。
尽管配置起来需要额外的计划，但是设置是很容易的，也很快速。
特别令人兴奋的是恢复时间，几乎是瞬时的，并且对于正在运行的集群环境几乎没有什么影响。
另外，这种模式的实现消除了在和本地网卡交换相关联的HACMP事件中的路由移动，使故障时间缩短，使排错更为容易。
总而言之，EC模式的简单和综合的优势，使其在需要高可用性和可伸缩性的网络带宽和冗余的环境中，成为一种非常有前途的选择。
动态的可伸缩性以及提供更大程度的冗余的可能性，更能促使人们考虑迁移到这种配置。
参考资料:
HACMP在AIX5.1和AIX5.2中支持EtherChannel的声明
AIX5L版本5.3系统管理指南:
通讯和网络（AIX5LVersion5.3SystemManagementGuide:
CommunicationsandNetworks）
p系列RS/6000以太网10/100G交叉网线技术文档101802
AIXEtherChannel负载平衡选项技术文档101260
升级会员 