Isilon技术白皮书Word文档下载推荐.docx
《Isilon技术白皮书Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《Isilon技术白皮书Word文档下载推荐.docx（13页珍藏版）》请在冰豆网上搜索。
三大宏观趋势推动了向集群存储架构的转换：
——非结构化数据和数字内容（数字图像、计算机模型、数字视频、数字音频、计算机模拟、扫描文档、参考信息）的爆炸性增长
——向集群计算的思维转换
——更廉价、更快的行业标准企业级硬件的激增
宏观趋势1：
非结构化数据和数字内容的爆炸性增长
今天参与竞争的企业都面临着用于执行日常业务的数据的急剧增加，这在很大程度是由于非结构化数据爆炸性增长造成的。
IT管理人员知道，使用并存储视频、音频、图像、研究数据及其他大型数字文件和非结构化数据的应用程序正在挑战传统存储系统的容量和性能禁区。
Pratt&
Whitney对非结构化数据的爆炸性增长深有体会。
作为全球先进的商用和军用飞机以及宇宙飞船引擎的领先设计、制造和支持供应商，它所进行的详尽测试生成了许多TB量级的引擎测试数据，其中每项高带宽测试每秒将记录100,000多个样本。
Cedars-Sinai肿瘤研究中心位于加利福尼亚的洛杉矶市；
该肿瘤研究中心整理从多种渠道收集的数据，包括临床质谱分析和基因组数据，他们也知道存储大量研究数据时会遇到的一些难题。
对Cedars–Sinai而言，一滴血将生成超过60GB的非结构化数据供蛋白质组学研究使用。
用这个数字乘以从研究中心的患者身上采集的数百个（如果不是上千个）血液标本，非结构化数据的急剧增加是显而易见的。
最后，SportsIllustrated（体育画报）于2004年在雅典夏季奥运会上率先开创了一个百分之百的数字化工作流。
这一工作流在为期17天的赛事中生成了250,000多张数字图像（图像平均大小为18至24MB）。
这一数字化趋势扩展到了所有使用非结构化数据和数字内容的行业领域，包括传媒娱乐业、数字成像、生命科学、石油和天然气、制造业以及政府，而且非结构化数据的迅速增长非常明显。
据企业战略集团（ESG）预测，到2006年底，参考信息将占企业和政府新信息的58％。
ESG将参考信息定义为“为随时参考和创造价值而保留的数字资产”。
这些信息包括但不限于电子文档、CAD/CAM设计、历史文献、医学影像、生物信息学、地球物理数据和语音数据。
ESG预计，参考信息将以92％的复合年增长率（CAGR）增长。
同时，ESG还预计，在此期间迁移参考资产（即从磁带迁移到基于磁盘的存储资源的数据）会额外占用420PB的容量。
那么，对IT管理人员来说这意味着什么呢？
由于非结构化内容的存储规模和复杂程度不断提高，它们使得传统存储系统捉襟见肘，因为这些系统主要是为含有小型文件和高级别事务（例如关系数据库和电子邮件服务器）的结构化数据设计的。
另一方面，非结构化数据具有传统存储系统在设计时并未考虑到的独特特征，包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。
由于缺乏更好的替代方案，许多公司曾尝试通过拓展专为结构化事务数据或文本数据而设计的传统存储系统，以此来满足他们的非结构化数据需求。
甚至最新的NAS和SAN系统也采用了存在先天不足的架构，造成了管理的极度复杂。
这都是由于它们的“存储孤岛”、可扩展性限制、性能瓶颈和可用性问题造成的，而且将此类系统用于非结构化数据还会造成高额成本。
这些限制也激发了企业对新存储架构的需求——一个完全为非结构化数据和数字内容专门设计并经过优化的存储架构。
宏观趋势2：
向集群计算的思维转变
第二个宏观趋势是集群计算的广泛应用。
企业数据中心已经从“大型”专有主机和对称式多处理（SMP）服务器时代发展到运行Linux或indows的基于标准（使用行业标准硬件）的集群设备时代。
这一趋势的最有力证据是全球服务器收入的变化。
自二十世纪九十年代中期起，这个年收益500亿美元的市场约有四分之一或更大的比例从每台价格几万或几十万美元的中端服务器转向了每台2,000到3,000美元的小型服务器。
IT管理人员的首要动机是，采用具有更高性能、可靠性、可扩展性以及整体工作负荷管理的服务器集群架构。
这可以通过集合行业标准服务器来实现，而所有这些只有传统大型设备解决方案成本的一小部分。
企业不再在一个拥有200个处理器的大型机上部署大型数据库。
今天，IT管理人员可以购买一组现成的服务器，并将其组合成一个可无缝扩展的大型系统。
网络服务器库便是集合优点的一个例证。
通过服务器集群，最佳地实现了因特网全天候实时在线所需的可用性、可靠性和性能，同时也采用了经济合理的解决方案。
服务器集群库通过在服务器库的各个组件之间分配工作负荷来简化内部流程率，并利用多台服务器的功能加快计算过程。
如果一台服务器发生故障，其他服务器可以介入并承担该工作负荷。
将服务器和处理功能组合到一个实体中在以前只是研究和学术机构的一种做法，但它现在也广泛深入到了企业市场中。
今天，越来越多的企业使用服务器集群方法来处理大量计算机化的关键任务和服务。
集群存储革命将这一集群趋势从服务器应用领域扩大到了数据存储领域。
出于同样的原因，服务器应用领域正在以同样的方式向集群架构转变，而存储领域也已开始转向这一主流架构。
宏观趋势3：
更廉价、更快的行业标准企业级硬件的激增
推动转向集群存储的第三个宏观趋势是行业标准硬件组件的性价比曲线明显下降。
这一趋势是摩尔定律所预示的持续运动的一部分：
随着时间的推移，企业将以更低的成本获得更高的计算能力，并实现商品硬件的经济效应。
商品硬件组件的低成本造就了集群架构经济实惠的优点。
集群如何利用行业标准硬件的性价比曲线，以传统定制系统的小部分成本来实现行业领先的性能和可靠性的呢，Google便是一个主要例子。
平均而言，Google的一次查询会读取数百MB的数据，占用几百亿个CPU周期。
为了处理这一“高性能计算”工作负荷，Google的架构采用了数千个商品级PC、现成组件以及容错软件的集群。
该集群架构实现了卓越的性能，而其成本远远低于使用数量更少但更昂贵的高端服务器打造的系统。
企业级行业标准硬件的利用直接产生了转向集群存储解决方案的趋势。
根据存储磁盘产品（即SATA）的价格历史和密度，过去5年每MB的单价降低了100多倍。
（见下图）加上处理器、内存和带宽成本的显著下降，IT管理人员现在可以通过商品化的存储组件实现集群的全部价值。
这些宏观趋势说明了三个基本意义：
——存储行业正在经历一场革命
——集群存储正成为新的主流存储架构
——用户将从集群存储中收获巨大的业务价值和好处
从大型单片机到集群架构，存储领域正在跟随服务器应用领域业已发生的思维转换步伐。
集群存储是一种迅速崛起的新存储架构，它由智能软件驱动，并基于行业标准硬件打造。
客户知道，集群架构能够处理企业迅速增长的非结构化数据，最好地提供前所未有的性价比、可靠性和可扩展性，从而满足他们的需求，而这一切的运营成本明显更低。
集群存储革命已经开始！
2一个新的存储类别：
集群存储
直接连接存储（DAS）、存储区域网络（SAN）和网络连接存储（NAS）都是典型的存储方法，大多数IT管理人员在谈到存储架构时都会想到它们。
今天，第四种存储方式——集群存储出现了。
集群存储架构可以将两个或多个存储设备集结到一起，使其在行为上表现得像一个实体。
集群存储可以细分为三种类型：
——双向简单故障转移集群
——命名空间聚合
——带有分布式文件系统（DFS）的集群存储
双向简单集群：
过去在存储行业中，“集群”是指在一对冗余节点（“节点”定义为服务器/控制器磁头和磁盘）之间的主动故障转移。
尽管更准确的说这种方式是一种冗余技术而非集群技术，但NAS供应商通常称其为“双向集群”。
双向集群激起了继续改进旧式和传统单头存储架构的容错和冗余性能的需求。
通常，这些解决方案能使一个控制器磁头接替故障控制器磁头，并允许新控制器磁头继续访问和写入故障控制器的数据卷。
内在的限制性能和可扩展性、小型文件系统规模、管理复杂性以及实现高可用性的相对较高的成本是这一方式的主要制约因素。
加上非结构化数据的迅速增长，这些解决方案明显不能满足企业发展的未来需求。
命名空间聚合：
实质上，这些类型的集群存储解决方案构成了将存储管理连为一体的一块玻璃或薄板。
这些解决方案完全基于软件（即软件虚拟化）或是软件与硬件的组合（即设备和开关），并创建了存储资源的单一命名空间和集群，它们看起来像一个大型数据管理池。
一般来说，这些解决方案会启用包括NAS服务器或存储设备集群的“综合树”，把各存储仓库向网络用户呈现为一个整体（一个统一的命名空间），并将数据归到任何既定仓库中。
换句话说，通过它们创建的网关，可以重新定向几种不同文件和异构系统以便从公共点进行访问。
此类解决方案能够把横跨不同磁盘卷的文件布局（块级拆分数据）控制在某个特定仓库——而不是构成集群的所有仓库，同时仍然允许不同存储层之间的数据移动，且客户端中断有限。
尽管从最初成本角度来看，这种架构方法有时不乏吸引力，但IT管理员仍在管理、发展和配置“存储孤岛”（异构型存储仓库），不过现在他们又多了一个虚拟化层。
最终，这种解决方案会带来更高的复杂性、更重的管理负担以及更高的长期运营成本。
带有DFS的集群存储:
第三种类型是分布式集群存储，它是超越N向简单集群和命名空间聚合的自然发展。
分布式集群存储是一种网络存储系统，它允许用户组合和添加存储节点，所有这些节点皆访问同一个数据池。
这些解决方案直接驻留在存储层上，其中文件系统可以完全分布在任意数量的节点/存储控制器。
由于软件驻留在存储层上，因此它可以完全控制数据在构成集群的所有存储节点中的布局（数据块级拆分），乃至每个数据块的ECC纠错水平。
这与命名空间聚合/虚拟化产品形成了对比，后者只控制特定存储仓库写入哪些数据。
智能软件可以使节点对称和分布均衡，从而使集群作为一个统一的智能团队协同工作，同时每个节点可以独立运行，并与其他节点进行通信以传输文件，从而满足用户的需求。
集群中的每个节点都是一个连贯的对等体，也就是说每个节点都了解对方的一切信息。
由于分布式集群存储的这些特征，与上述任何其他解决方案相比，它的可用性、可靠性、可扩展性、总吞吐量以及易管理性最高。
三种集群存储解决方案在数据控制方式上的差异
3集群存储的定义
定义集群存储解决方案时，我们会发现六个共性：
——对称的集群架构
——可扩展的分布式文件系统
——固有的高可用性
——单一管理层
——线性性能特征
——企业就绪性
对称的集群架构：
分布式集群存储解决方案背后的关键设计原理是节点之间的对称性，所谓的节点可以是独立的存储控制器磁头、磁盘、CPU、内存和网络连接。
集群必须执行的任务在其成员中均匀分配，与采用基于主服务器方法的传统存储架构相比增强了可扩展性、数据访问、性能和可用性，后者的存储节点并不对称，而且可扩展性和性能受到限制。
即使在集群中添加更多节点，它仍然有一个逻辑控制中心。
不管解决方案中的节点数量是多少，仍然只有一个逻辑系统。
完全对称的集群架构可以无缝扩展资源，并能实现存储系统的模块化扩展或“按需购买，渐进升级”的优点。
如果需要更多内存、带宽、容量或驱动器，只要向集群添加更多节点便可以使集群得以扩展，同时通过一个可动态扩展的逻辑系统来保持它的连贯性。
可扩展的分布式文件系统：
实现这种架构方法的是分布式文件系统，它可以扩展成为一个特大存储池或单个网络驱动器。
分布式文件系统保持对节点之间的文件和数据布局的控制，并采用在集群范围内全面分配并保持一致性的元数据和锁定语意，因而可以创建一个很大的全局存储池。
单个网络驱动器和单个文件系统可以无缝扩展到数百TB。
在下图中，完全分布式的文件系统通过在集群中的所有节点中分配操作，来处理元数据操作、文件锁定和缓存管理任务。
分布式文件系统无需依靠主服务器便可确保恰当的锁定行为——通过消除专用元数据服务器消除了性能瓶颈，并使所有节点的缓存完全保持一致，从而确保每次读写都能检索最新的数据。
固有的高可用性：
顾名思义，分布式集群架构具有高可用性，因为每个节点都是另一个节点的对等体。
如果任何节点或组件发生故障，仍可通过任何其他节点来访问数据，而且由于整个集群的文件系统状态得到维护，因此不会出现单一故障点。
事实上，完全分布式集群架构可以同时承受多个驱动器和节点故障，而且仍能恢复并继续操作。
另外，分布式集群架构的高可用性是“固有的”，也就是说与传统存储系统不同，集群存储解决方案依靠全对称架构性质便可实现高可用性。
而对于传统存储系统，IT管理人员必须购买额外的软件和昂贵的冗余硬件才能实现高可用性。
集群存储架构带来了独特的可靠性难题：
由于这些解决方案使用了广泛的行业标准硬件组件，一个文件系统中有数百甚至上千个磁盘在运转，因而要达到企业的可靠性标准需要新的创新技术。
为了解决这一难题，整个集群存储解决方案必须能够快速重建驱动器，从而尽可能减少风险窗口；
必须提供积极的“自愈”功能，以确保所有数据始终可用，并确保分布式文件系统完整记录操作的所有状况（即防止整个集群在写操作过程中发生故障）。
单一管理层：
无论文件系统大小以及添加到集群的存储节点数量是多少，分布式集群架构解决方案只单层管理，这使得管理几个节点的集群与管理数百个节点的集群一样简单。
在向集群添加新节点以扩展容量和性能时，整个集群存储解决方案可以自动处理以往的手动任务，包括跨集群节点的客户端连接负载均衡，从而确保最优的性能和内容的自动重新均衡。
横跨整个集群的单一文件系统简化了环境的管理，并通过许多驱动器名以及将应用程序映射到许多独立的“存储孤岛”而消除了导航任务。
对系统管理员而言，这解决了客户端管理问题，因为所有文件皆隶属于一个驱动器名或安装点。
性能的线性可扩展性：
分布式集群存储解决方案具有一种独特的功能，即以近线方式扩展所有性能元素。
在添加更多节点/内存控制器、处理、磁盘主轴和带宽时，集群会以一个逻辑系统来保持其一致性，并能够集合所有资源，从而实现每个新增节点的线性性能扩展。
为了实现这种线性性能扩展，集群内的每个节点与所有其他节点保持同步至关重要。
因此，更强健的解决方案通常采用速度极高的集群内部互连，以确保节点之间的低延迟和集群的实时同步。
企业就绪性：
分布式集群存储解决方案必须具备可供企业随时使用的就绪性。
历史上，集群架构最早主要部署在非商业性的研究实验室，而不是主流商业企业。
但是，为了成为思维转换的一部分，集群架构必须做好在商业企业数据中心实施的准备。
尤其是，该解决方案必须支持标准网络协议并提供IT管理人员一直期望得到的工具。
集群存储是存储自然发展的结果，旨在满足现代企业不断变化的需求及其非结构化数据增长的需要。
下表概括了当今市场上全面上市的集群存储解决方案类型之间的不同：
4IsilonSystems:
集群存储的领先者
IsilonSystems®
目前提供了第四代完全分布式的集群存储解决方案，并且无疑是这一新兴类别的领先者。
Isilon屡获殊荣的IsilonIQ产品家族包括高性能的集群存储系统，这些系统将智能分布式文件系统与模块化行业标准硬件结合起来，提供无与伦比的简单性和可扩展性。
IsilonIQ是为非结构化数据设计的，专用于数据密集型市场，例如传媒娱乐业、数字成像、生命科学、石油和天然气、制造业以及政府。
IsilonIQ:
可扩展的分布式文件系统
Isilon集群存储解决方案的核心是Isilon享有专利的OneFS®
分布式文件系统。
它将三个传统存储架构层——文件系统、卷管理器和RAID——组合成一个统一的软件层，从而创建了一个智能的完全对称文件系统，该系统横跨集群内的所有节点。
OneFS为大型内容存储提供单一的管理点，更快的大型内容文件访问速度，与生俱来的高可用性，轻松扩展单个集群的容量，最高可达每秒10GB的总吞吐量以及数百TB的容量，所有这一切都来自单个网络文件系统。
OneFS只对横跨集群内多个存储节点的文件和元数据进行块级拆分，较之对横跨单一存储设备或卷内的单个磁盘对内容进行块级拆分的传统方法而言，这是一个改进。
这种完全分布式方法使Isilon能够提供前所未有的性能、可扩展性、可用性和可管理性。
OneFS使每个节点知道整个文件系统的布局以及每个文件和文件不同部分的驻留位置。
访问任何独立节点都可以让用户获取某个统一命名空间中的所有内容。
这意味着没有卷和共享，没有硬性的卷大小限制，重新配置或扩展存储时不会停机，而且无需管理多个网络驱动器。
相反，OneFS为用户提供了管理单一NAS存储的便利性和简单性，而且其可扩展性、性能和灵活性都要胜过SAN系统。
对称架构
每个IsilonIQ集群包括3到96个IsilonIQ节点。
每个模块化的独立IsilonIQ节点包括磁盘容量以及强大的存储服务器、CPU、内存和网络，所有这些都在一个独立、小巧的2U架装式系统中。
在向集群添加其他的IsilonIQ节点时，集群的所有方面都会对称扩展，包括容量、吞吐量、内存、CPU和网络连接。
IsilonIQ节点自动配合工作，利用它们的合力形成一个统一的存储系统。
该系统可以承受任何硬件组件故障，包括磁盘、交换机甚至整个节点。
在完全分布式架构中，各节点与集群中的所有其他节点保持同步非常关键。
IsilonIQ存储节点使用千兆以太网或高速低延迟Infiniband交换结构，进行集群内通信、同步和所有集群内部操作。
这使得每个节点都能与系统中的所有其他节点共享信息，因此每个存储节点都是一个完全连贯的对等体，完全了解其他节点正在做什么。
OneFS使用分布式锁定管理器、连贯缓存和远程数据块管理器使节点保持同步，其中远程数据块管理器可在整个集群中保持全局连贯性。
正是各节点的这种全局连贯性消除了访问文件系统时会遇到的任何单点故障。
集群中的任何节点都可以接受读/写请求，而每个节点都将呈现整个文件系统的相同统一视图。
集群中的所有节点均为“对等体”，因此系统完全对称，消除了层次结构和内在瓶颈。
IsilonIQ:
固有的高可用性
传统文件系统利用主从关系来管理多个存储资源。
这些关系具有内在的相关性，并形成了存储系统内的故障点。
确保数据完整性和消除单点故障的唯一正确方法是使集群中的所有节点成为对等体。
由于IsilonIQ中的每个节点都是一个对等体，因此任何节点都可以处理任何应用服务器发出的请求，从而提供所请求的内容。
如果任何一个节点发生故障，其他任何节点都可以替代它，因而消除了所有单点故障。
多故障支持；
使用IsilonIQ，即使损失多个磁盘或整个节点，客户仍不会失去对任何内容的访问权。
OneFS独一无二的FlexProtect-AP功能采用了ReedSolomonECC（纠错码）、奇偶校验块级拆分（从n+1到n+4）以及横跨集群内多个节点的镜像文件块级拆分（从2x到8x）。
这些策略可以在任何层面上设置，包括集群、目录、子目录甚至单个文件。
此外，还可以随时通过简单的Web用户界面更改这些策略——即使系统正处于工作过程并完全可用时。
使用Isilon，所有文件皆在集群内的多个节点中进行块级拆分，没有一个节点会存储任何文件的全部内容，并且如果某个节点发生故障，集群中的其他所有节点仍可以提供该文件的全部内容，而不会中断。
举例来说，Isilon的“n+2”双ECC纠错在单一集群和文件系统内最多允许磁盘或整个节点同时出现两个故障。
每个文件皆在集群内的多个节点中进行块级拆分，其中每个数据块有两个奇偶校验块级拆分。
与“n+1”单奇偶校验不同，如果此次重建过程中出现了第二个故障，所有数据仍全部可用，因为最初已通过双重ECC保护对数据进行了块级拆分。
相反，如果同样的情形发生在使用RAID5的传统系统中，则将造成数据丢失，而且无法恢复。
Isilon工程师估计，n+2RAID的平均故障间隔时间（MTBF）比单奇偶校验RAID的长100倍。
现在，想一想IsilonSystems的这种功能最高达到“n+4”，使得任何集群存储系统均可以承受驱动器或整个节点的四个同时故障，这是史无前例的，由此你就会明白IsilonSystems为何被视为市场上可用性最高的解决方案了。
IsilonIQ是为集群架构中的单一文件系统提供这种数据保护水平的唯一集群存储解决方案。
业界领先的驱动器重建：
如果出现故障，OneFS会自动横跨集群中的所有现有分布式可用空间并行重建文件，这样便无需使用大多数传统存储架构所要求的专用“奇偶校验驱动器”。
OneFS利用集群内所有节点中的全部可用空间来重建数据，从而充分利用集群的优点。
通过利用这些可用空间以及集群的多个处理器和计算能力，数据重建速度可比传统架构加快五到十倍。
对存储系统的数据可靠性而言，存储系统从故障磁盘驱动器重建数据所需的时间非常关键。
对于传统存储系统，重建过程已经占用了很多时间；
随着硬盘密度进一步提高（目前每个驱动器为500GB），这一态势不断恶化。
随着TB级磁盘的出现（预计在接下来的24个月内）以及所创建的单个卷/文件系统越来越大，传统存储系统最多将需要24小时或更长时间才能从磁盘故障中恢复。
在此期间，此类传统存储系统很容易出现其他的磁盘故障，这将造成数据丢失和停机。
由于IsilonIQ是以分布式架构为基础构建的，因此它可以充分利用集群内的所有磁盘和硬件，以便重建故障磁盘的数据。
由于IsilonIQ不受任何特定磁盘的速度约束，因此Isilon的系统可以极快地从磁盘故障中恢复。
Isi
升级会员 