P750小型机与12x IO扩展柜.docx

1、P750小型机与12x IO扩展柜本文主要讲解IBM小型机P750与12x I/O扩展柜的说明和连接方法。P750前后视图12X I/O Drawer PCIe前后视图 P750最多支持4个I/O扩展柜，最多50个PCI-X slots或者41个PCIe slots,扩展柜有两种：12X I/O Drawer PCIe, small form factor (SFF) disk (FC 5802)12X I/O Drawer PCIe, No Disk (FC 5877)5802最多支持18个SAS hot-swap disk drive bays,而5877不支持Disk drive bay

2、s。简单来说就是一个有硬盘，另一个没有，我们将重点介绍5802。名词解释：SPCN ports(system power control network)是用来控制和监控I/O扩展柜电源和冷却的状况。下图为主机SPCN口与I/O柜SPCN连接方法连线说明：1. Start at SPCN 0 (T4) of the system unit to J15 (T1) of the first expansion unit.2. Cable all units from J16 (T2) of the previous unit to J15 (T1) of the next unit.3. To

3、complete the cabling loop, connect J16 (T2) from the final expansion unit, to the SPCN 1 (T5) in the system unit.4. Ensure that a complete loop exists from the system unit, through all attached expansions and back to the system unit.简单来说，就是主机的SPCN 0口接到第一个柜的SPCN 0口，然后一柜到四柜使用级联的方式，最后从第四柜的1口回到主机的1口。12X

4、 connectors 用于主机与扩展柜，扩展柜与扩展柜间的数据传输。 为了实现主机与扩展柜的连接，需要在主机左边第一个插槽PCIe or GX+上配置GX Dual-port 12X Channel Attach (GX+)或在第二个插槽PCIe or GX+上配置GX Dual-port 12X Channel Attach (GX+)，这两者的区别是带宽。GX+的带宽是20GBPS，而GX+只有10GBPS。因此为了优化性能和分散工作负载，我们要尽可能多的使用GX+ 总线。 /GX+总线是直接连CPU,GX+总线通过P5-IOC2的GX+ pass thru再到CPU,因此GX+卡插到G

5、X+的slot上，只能发挥10GBPS的带宽。 上图是单个主机连接分别1个到4个扩展柜的连线方法。 注意： 1，一个扩展柜时，需要两条数据传输线形成一个回环（loop)；一个卡对应两个扩展柜时，需要3条数据传输线形成一个回环； 2，主机的端口0永远对应扩展柜端口0，端口1永远对应扩展柜端口1；扩展柜之间端口0可以对应端口1； 3，比如一个卡对应两个扩展柜时，从端口0到扩展柜1的端口0，再从柜1的端口1到柜2的端口0，最后从柜2的端口1回到卡的端口1 结束回环。 下图为端口说明图 它与SPCN连线的区别：SPCN是主机和全部扩展柜形成一个回环，而12X I/0 connector则是主机和每两个

6、柜形成一个回环。 SAS connectors 用于连接前面板的硬盘与SAS cards。Mode switch 可以把扩展柜的18个硬盘分成不同的组。根据上图，18个硬盘可以分成1组，2组和4组。AIX/Linux 和IBM i 的分组是不同的。实际操作中，这三个档位是从左往右排列，按键比较小，借助小铁丝会比较容易操作。要使用扩展柜的18块SFF硬盘，需要另外配置SAS卡，卡的数量根据分组的状况来确定，每个卡有两个port。下面是有关硬盘分组的物理图及与SAS connectors 的对应关系。比较容易理解，从左到右5-4-5-4的排列4个SAS connectors从上至下，分别对应4个分

7、组。假设有共18个硬盘，分成两分区，那么后面板SAS connectors从P4-T1,P4-T3口出来，分别连在两个SAS CARD上。除了上述2卡2分区的例子，还有其他6种情况。/注意：凡标.if desired的cable是可选项，有需要才接1，2卡2分区，做RAID2，1卡1分区3，1卡2分区4，4卡2分区，做RAID5，2卡1分区 做RAID6，4卡4分区更多详情，参照红皮书案例分析客户购买了LPAR划分，当该分区使用5802所配置的硬盘时，工程师将整个5802全部划给了其中的一个LPAR，但是当启动分区时，发现缺少部分硬盘，经过查找识别的几块硬盘，发现由于处于5802 P3-D10位置的硬盘没有被分区识别，后仔细检查RIO、SPCN、SAS等连线，均未发现问题，最后发现SAS卡Mode Switch在默认位置2，默认把硬盘分为了2个group,group1(1-9), group(10-18),由于只有一根SAS AT Cable，所以，就该分区只识别了Group1（1-9）的硬盘，处于D10的硬盘由于处于Group2，所以没有被识别。当将SAS卡Mode Switch 调至1档时，该问题解决。