infiniband协议.docx
《infiniband协议.docx》由会员分享,可在线阅读,更多相关《infiniband协议.docx(5页珍藏版)》请在冰豆网上搜索。
![infiniband协议.docx](https://file1.bdocx.com/fileroot1/2023-1/30/48069872-6986-445b-a859-baea597770bf/48069872-6986-445b-a859-baea597770bf1.gif)
infiniband协议
竭诚为您提供优质文档/双击可除
infiniband协议
篇一:
infiniband的现状和发展趋势
infiniband的现状和发展趋势
20xx年03月05日11:
01来源:
存储在线作者:
Voltaire亚太区总经理/司马聪
去年11月13日在美国佛罗里达tampa召开的一年两次的巨型计算机博览会(SC06)上公布的世界前500名巨型机的排名中用于服务器互联的公开标准协议infiniband的占有率首次超过了私有协议myrinet,而在所有使用了infiniband的巨型机中Voltaire又以绝对优势占了2/3。
另外到今年六月为止的世界前500名巨型计算机排名中占有率一直持续上涨的千兆以太网也首次下跌18%。
至此经过3年多的较量,在高性能计算(hpc)领域服务器互联网络的首选协议已经明确为infiniband。
在此想就infiniband的现状和发展趋势向各位读者做一下介绍。
infiniband的特点:
infiniband协议的主要特点是高带宽(现有产品的带宽4xddR20gbps,12xddR60gbps,4xsdR10gbps,12xsdR30gbps、预计两年后问世的qdR技术将会达到4xqdR40gbps,12xqdR120gbps)、低时延(交换机延时140ns、应用程序延时3μs、一年后的新的网卡技术将使应用程序延时降低到1μs水平)、系统扩展性好(可轻松实现完全无拥塞的数万端设备的infiniband网络)。
另外infiniband标准支持Rdma(Remotedirectmemoryaccess),使得在使用infiniband构筑服务器、存储器网络时比万兆以太网以及Fibrechannel具有更高的性能、效率和灵活性。
infiniband与Rdma:
infiniband发展的初衷是把服务器中的总线给网络化。
所以infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。
大家熟知的在总线技术中采用的dma(directmemoryaccess)技术在infiniband中以Rdma(Remotedirectmemoryaccess)的形式得到了继承。
这也使infiniband在与cpu、内存及存储设备的交流方面天然地优于万兆以太网以及Fibrechannel。
可以想象在用infiniband构筑的服务器和存储器网络中任意一个服务器上的cpu可以轻松地通过Rdma去高速搬动其他服务器中的内存或存储器中的数据块,而这是Fibrechannel和万兆以太网所不可能做到的。
infiniband与其他协议的关系:
作为总线的网络化,infiniband有责任将其他进入服务器的协议在infiniband的层面上整合并送入服务器。
基于这个目的,今天Volatire已经开发了ip到infiniband的路由器以及Fibrechannel到infiniband的路由器。
这样一来客观上就使得目前几乎所有的网络协议都可以通过infiniband网络整合到服务器中去。
这包括Fibrechannel,ip/gbe,nas,iscsi等等。
另外20xx年下半年Voltaire将推出万兆以太网到infiniband的路由器。
这里有一个插曲:
万兆以太网在其开发过程中考虑过多种线缆形式。
最后发现只有infiniband的线缆和光纤可以满足其要求。
最后万兆以太网开发阵营直接采用了infiniband线缆作为其物理连接层。
infiniband在存储中的地位:
今天的infiniband可以简单地整合Fibrechannelsan、nas以及iscsi进入服务器。
事实上除了作为网络化总线把其他存储协议整合进服务器之外,infiniband可以发挥更大的作用。
存储是内存的延伸,具有Rdma功能的infiniband应该成为存储的主流协议。
比较一下infiniband和Fibrechannel我们可以看到infiniband的性能是Fibrechannel的5倍,infiniband交换机的延迟是Fibrechannel交换机的1/10。
另外在构筑连接所有服务器和存储器的高速网络时使用infinibandFabric可以省去FiberchannelFabric,从而给客户带来巨大的成本节省。
今天在使用infiniband作为存储协议方面已经有了很大的进展。
作为iscsiRdma的存储协议iseR已被ietF标准化。
不同于Fibrechannel,infiniband在存储领域中可以直接支持san和nas。
存储系统已不能满足于传统的Fibrechannelsan所提供的服务器与裸存储的网络连接架构。
Fibrechannelsan加千兆以太网加nFs的架构已经严重限制了系统的性能。
在这种情况下应运而生的则是由在infinibandfabric连接起来的服务器和iseRinfiniband存储的基础架构之上的并行文件系统(诸如hp的sFs、ibm的gpFs等等)。
在未来的服务器、存储器网络的典型结构将会是由infiniband将服务器和infiniband存储器直接连接起来,所有的ip数据网络将会通过万兆以太网到infiniband的路由器直接进入infinibandFabric。
在存储厂商方面sun,sgi,lislogic,飞康软件等公司都已推出自己的infiniband存储产品。
在中国新禾
科技公司也推出了他们的infiniband存储系统。
从价格的角度,今天的infiniband是万兆以太网的几分之一。
inifiniabnd有比Fibrechannel高5倍的性能,在价格上则已与Fibrechannel在同一个数量级上。
在hpc以外的领域的infiniband的应用:
在过去一年里我们看到infiniband在hpc以外的领域得到了长足的进步。
这主要包括infiniband在大型网络游戏中心的应用、inifiniband在电视媒体编辑及动画制作方面的应用。
在证券业方面,人们也已经在着手开发以infiniband为核心的高速、低迟延交易系统。
在银行业我们也看到了一些以inifiniband全面取代Fibrechannel的努力。
明、后年infiniband的看点:
Voltaire将于明年秋天推出万兆以太网到infiniband的路由器。
这将使由infiniband对数据网络存储网络的整合得到加速。
Voltaire已经开发出全套的iseRinitiator、targetcode。
很多存储合作伙伴在利用Voltaire的iseRcode开发他们独自infiniband存储系统。
预计在明、后年大家会看到更多的infiniband存储系统投放市场。
infiniband已经进入刀片服务器(ibm、hp等等),我们在未来的两年还会看到这方面更多的努力和成功。
infiniband标准装配在服务器上的努力和成功。
装载infiniband存储的巨型机进入世界前500巨型机列表。
infiniband在网络游戏业、石油业、电视媒体
业、制造业等方面进入企业级应用。
篇二:
infiniband连接现在和未来
infiniband连接现在和未来
infiniband是致力于服务器端的高性能互联技术,它的使命是:
使处理器级的带宽,从处理器到系统i/o、到存储网络,穿越整个数据中心,形成一张统一的、包括服务器互连、服务器与存储互连、存储网络在内的神经网络。
infiniband技术是一种开放标准的高带宽、高速网络互联技术。
目前,它的发展速度非常快,而且越来越多的大厂商正在加入或者重返到它的阵营中来,包括cisco、ibm、hp、sun、nec、intel等。
可以说,infiniband已经成为目前主流的高性能计算机互连技术之一。
而且,目前基于infiniband技术的网络卡的单端口带宽最大可达到20gbps,基于infiniband的交换机的单端口带宽最大可达60gbps,单交换机芯片可以支持达480gbps的带宽,为目前和未来对于网络带宽要求非常苛刻的应用提供解决方案。
infiniband体系结构
infiniband技术通过一种交换式通信组织(switchedcommunicationsFabric)提供了较局部总线技术更高的性能,它通过硬件提供了可靠的传输层级的点到点连接,并在线路上支持消息传递和内存映像技术。
infiniband技术通过连接hca(hostchanneladapters)、tca(targetchanneladapters)、交换机以及路由器来工作,其体系结构如图1所示。
目前,集群计算、存储区域网(san)、网格、内部处理器通信(ipc)等高端领域对高带宽、高扩展性、高qos以及高Ras(Reliability、availabilityandserviceability)等有迫切需求,infiniband技术可以为实现这些高端需求提供可靠的保障。
在i/o技术层面,infiniband具有两个非常关键的特性:
一是物理层设备低功耗,二是“箱外带宽”(bandwidthoutofthebox)。
一个infiniband结构的铜介质物理层设备(phy)每一个端口只需要0.25瓦,而一个千兆以太网物理层设备每一个端口需要2瓦的功耗。
这个量级的差距决定了infiniband更适合用在互联网数据中心几十米范围内的服务器和存储系统的连接。
而且高功耗的以太网技术不能以基于一种基本传输速率的倍数形式用于芯片级的系统集成。
而将多芯片系统集成到单一芯片的infiniband系统必将从根本上降低整个i/o系统的开销,尤其是在规模可观的infiniband系统网络中。
infiniband的箱外带宽特性可为集群、
通信、存储等提供单一的互连支持。
目前,infiniband支持三种连接(1x,4x,12x),是基本传输速率2.5gb/s的倍数,即支持速率是2.5gb/s、10gb/s和30gb/s。
infiniband物理层基于ieee802.3.z标准,10g以太网和Fc也是基于这一标准的。
infiniband传输提供了一套比tcp协议更丰富的服务协议,它提供了连接和非连接操作。
infiniband立在潮头
去年,很多分析家指出,infiniband是作为企业数据中心等应用中除以太网以外的第二选择出现的。
如今,infiniband成本急速下降且在集群、刀片服务器领域取得大规模拓展,这第二选择的发展速度超乎想象。
去年底,infiniband交换机厂商topspin与dell、hp、ibm和sun签订协议建立了合作伙伴关系,业界普遍重新恢复了对infiniband的支持。
而且从去年开始,越来越多的实验室和大学都在评估infiniband,他们表示,infiniband交换机能够支持诸如光纤通道之类的其他协议的事实是非常吸引人的,因为它可以轻松地把集群连入存储和网络系统之中。
更值得关注的是,ibm和necsolutions(北美)的刀片式服务器在去年嵌入了topspin的infiniband设备。
ibm在它的bladecenter上提供infiniband可选件,nec在它的itanium2刀片服务器装载topspin的infinibandpci-x总线的主机适配卡。
而今年4月,cisco宣布收购topspin后,成为了infiniband产品的最大支持者。
insight64的分析师指出:
“经过4年的发展历程,infiniband技术已经克服了如软件支持、性能检验和价格方面的缺陷,获得了市场的认可。
”
mellanox让infiniband大众化
在国内,目前杀进来了一家专营infiniband技术和产品的公司—mellanox。
这家公司成立于1999年,是目前基于infiniband技术的芯片、网卡和交换机的主要提供商之一。
记者在最近的一次对其ceoeyalwaldman的采访中了解到,mellanox为通信、存储和计算机集群领域提供互连解决方案,致力于研发、生产基于infiniband的产品与方案。
据waldman介绍,采用基于infiniband技术的整体解决方案,可以用一套网络设备来完成所有的功能,也就是用于计算和存储的网络都采用infiniband,从而可以大大降低整体系统的tco,同时在性能上也可以达到很大的提升。
另外,在与Fc存储方案的性能对照中,基于infiniband的存储方案实测性能可以达到Fc方案的4倍。
与10g以太网卡相比较,infiniband产品也具有明显的优势,在mellanox的努力下,其价格是目前10g以太网卡的十分之一,但是infinibandhca卡的功耗却是10g以太网卡的七分之一,同时带宽更大,延时更低,面积更小,对于cpu的占用率更低,基于infiniband平台的软件更加成熟。
mellanox认为,随着双核处理器的出现、pci-express总线的发展、超级计算机的规模越来越大以及数据库集群的发展、金融分析的精确度的增加,制造业、石油、气象、生物等仿真
技术的发展等,使得高带宽、低延时、高性能、低价格的网络互联方案变得日益重要,而这一切都在推动infiniband快速成为市场主流。
目前,国内一些主流的高性能集群计算机提供商都与mellanox达成了合作,包括曙光、浪潮、联想等。
而在我国台湾,主流的主板生产厂商也都与mellanox合作,在其主板产品中加入mellanox的技术和芯片。
mellanox从推出第一代infiniband产品以来,到目前已发展到了第三代的infinihost芯片(hca卡控制器)和infiniscale芯片(交换机控制器),目前的主流产品是infinihost芯片、infinihostiii芯片和infiniscaleiii芯片,还有上述芯片的hca(hostchanneladapter)卡和交换机产品。
mellanox的产品可支持新一代的pci-express规范,并将要推出基于ddR(双倍数据率)infiniband技术的hca卡。
waldman指出,从infiniband技术的发展前景来看,到20xx年,基于qdR(四位数据率)infiniband技术的产品将会推向市场,那时infiniband网卡的单端口带宽将达到40gbps、80gbps或120gbps,相信infiniband技术将会变得越来越普及。
篇三:
mellanox公司及infiniband技术简介
mellanoxtechnologies公司简介
-----------------------------------------------------------------------------------------------------------------mellanoxtechnologies于1999年成立,总部设在美国加州的森尼维尔市和以色列的yokneam。
mellanox公司是服务器和存储端到端连接解决方案的领先供应商。
mellanox公司致力于infiniband和以太网互联产品的研发工作,为客户提供具有高带宽,低延时、可扩展性,节能的产品。
20xx年底mellanox完成了对著名infiniband交换机厂商Voltaire公司的收购工作,使得mellanox在hpc、云计算、数据中心、企业计算及存储市场上获得拓展。
mellanox的infiniband系列产品:
包括infiniband/Vpi系列网卡,infiniband/Vpi系列交换机,以及相关软件及芯片。
截止20xx年6月,在top500中有126个系统使用了mellanox的FdRinfiniband产品,这个数字是去年同期的1.9倍。
infiniband技术简介
-----------------------------------------------------------------------------------------------------------------infiniband技术不是用于一般网络连接的,它的主要设计目的是针对服务器端的连接问题的,被应用于服务器与服务器,服务器和存储设备以及服务器和网络之间(比如lan,wans和theinternet)的通信。
infiniband是由infiniband行业协会所倡导的。
协会的主要成员是:
康柏,戴尔,惠普,ibm,intel,微软和sun。
20xx年6月infiniband成为top500(为高性能计算机提供统计的组织,从1993年开始对高性能计算机用linpack程序进行基准测试,取前500个最优质系统在top500网站上进行排列公布)名单中最常用互连技术。
目前top500中有44.4%的系统采用infiniband进行互联,40.4%的系统采用ethernet技术。
FdR(FourteendataRate)infiniband其优势有:
·更高的带宽,提升到了56gb/s
·更低的延时,将通用网络延时的带入了纳秒时代
·更高的效率,由8位/10位编码方式升级至64位/66位编码方式
·更低的功耗,面向未来的绿色数据中心
·面向未来的Vpi(虚拟协议连接)网络,提供未来网络云架构所需的带宽资源