建立开放的高性能集群.docx
《建立开放的高性能集群.docx》由会员分享，可在线阅读，更多相关《建立开放的高性能集群.docx（10页珍藏版）》请在冰豆网上搜索。
建立开放的高性能集群
成立开放的高性能集群
高性能计算集群主要用于解决大规模科学计算问题，以
及储存和办理海量数据。
内行业应用较广。
Linux的出现，推进了集群系统的展开。
目前，OpenMOSIX集群遇到公司用户的欢送。
OpenMOSIX集群的优势
OpenMOSIX集群供给了一种特别方式来成立集群系统，
为Linux内核供给了高性能集群计算支持能力。
它在多个由局域网互联的节点计算机之间，经过采纳散布式的内存存取和占先式进度迁徙技术，实现动向负载均衡。
用户能够经过履行多个进度运转并行程序。
系统把进度分派到拥有最优资源的节点上。
假如在程序履行过程中，某些节点的资源变得安闲，OpenMOSIX会从头分派进度，利用这些安闲资源。
经过尽可能分派进度到全部可用节点，使整个集群系统拥有很高的效率，供给一个多用户多任务的运转环境。
厙費绰頂链舉癫曇禍浃睁欽抛關彻。
OpenMOSIX拥有很多独到的优势。
使用OpenMOSIX时，用户甚至能够使用低价的PC，创办由数十个甚至数百个节点
构成的群集。
所以，关于散布式计算应用，使用OpenMOSIX
猃蟄陉点澮渔辕鴉鸟祿噦缗装續歼。
比使用传统超级计算机或大型机更经济。
自然，用户完整可
以在高端的多办理器系统上运转OpenMOSIX。
在OpenMOSIX环境下，每个用户经过单调的用户宿主
节点来与整个集群系统交互。
这样，在用户看来，全部的进
程恰似运转在与之交互的节点上，不会心识到集群的存在，
拥有很好的透明性。
OpenMOSIX能够将很多Linux机器变换
成一个近似于大型虚构对称多办理器〔SMP〕系统。
可是，
二者之间仍是拥有一些差别。
第一，在SMP系统上，两个或
更多的办理器之间能够很快地互换数据；但使用OpenMOSIX
时，节点之间相互通讯的速度是受局域网的带宽容制的。
使
用千兆位以太网或其余高带宽联网技术能够提升openMosix
群集的效率。
OpenMOSIX实现单调系统映像模式（SingleSystemImage，
SSI），支持全部的Unix接口和体制，拥有以下特征。
1．占先式进度迁徙
因为OpenMOSIX能够透明地把用户进度迁徙就任何可
用节点，用户不用从头编译他们的应用程序，或许考虑不一样
办理器间的负载。
能够经过简单地创办多个进度，使并行应
用运转在OpenMOSIX系统上，就像在单机环境中同样的。
系统将自动优化进度的分派和均衡负载。
全部的用户进度看
起来都仿佛运转在用户的宿主节点上。
每个新的进度是创办
在其父进度所处的节点上，假如被迁徙的进度产生一个子进
程，它将同时创办一份代理〔Deputy〕和实体〔Body〕的拷
贝。
每个用户创办的进度将运转在用户宿主节点上的履行环
境中。
2．动向负载均衡
OpenMOSIX依据负载的颠簸和资源的可用性来倡始进
程迁徙，经过在工作站上均匀散布负载来提升性能。
3．内存共享
OpenMOSIX经过内存消耗防备算法调整尽可能多的进
程在超越整个网络的“网络内存〞中，尽可能防备进度被换
出内存。
当过渡的内存分页时触发这种算法。
这时内存消耗
防备算法的优先权高于负载均衡算法，它将迁徙进度到内存
充分的节点而不论此时负载能否均衡。
4．有效的通讯体制
在OpenMOSIX集群系统中，使用高效的通讯体制减少了系统内核的通讯开支。
它假定通讯介质是靠谱和稳固的，因此成立了一套迅速的低延缓、高吞吐量的通讯协议。
撟飪滦对鄖沖还聰礪繒緬譴钮嬡謔。
5．散布式控制和高度的可伸缩性
OpenMOSIX为了利用硬件的冗余来抵达高可用性，工作
站之间没有主从关系。
系统的构成完整部是散布式的，没有一
个机器拥有整个系统的全部对象的信息。
控制也是散布的，
不存在集中的控制机构。
6．支持DFSA〔DirectFileSystemAccess〕
DFSA经过将进度迁徙到文件而不是传统的将文件数据
传递给进度的方式对集群文件系统进行更好的支持。
DFSA兼
容的文件系统将同意迁徙进度在目前节点直接文件I/O而不
用经过宿主节点，这极大地减小了通讯开支，充分利用了数
据的当地性，特别合适于I/O密集型进度。
OpenMOSIX系统
篤懒徠飄儼蒼擰枣顱缬负击鴉駭淥。
实现了MFS〔MosixFileSystem〕，支持DFSA特征。
OpenMOSIX集群的成立
OpenMOSIX的透明性意味着不需要特意的编程，便可利
用OpenMOSIX的负载均衡技术。
实质上，缺省OpenMOSIX
安装会自动地将进度迁徙到“最正确〞节点上。
这使得
OpenMOSIX成为能够立刻为散布式应用带来利处的群集解
决方案。
一个低端的OpenMOSIX配置能够包括经过局域网连结起来的多台PC。
一此中等的配置能够包括经过千兆以太
网连结起来的多台工作站和效力器。
高端的OpenMOSIX配置能够包括经过千兆网络连结起来的多台SMP或非SMP工
庐蕘滸铟砺僥瀅謬骁亏謬粝補荆廢。
作站和效力器。
为了获取最大的群集性能，起码使用百兆以太网。
将节点机器的以太网卡连结到专用的高速互换机上也是特别有利的。
这样，各个系统都能够以全双工方式经过以太网进行通讯，进而有效地使带宽加倍。
迁啧媪锐蓽钇鹌倉鑷详鈰囈禮縐蔺。
最简单的方式是安装早先编译好的RPM包，但这样灵巧性差，并且不必定合适详细应用状况。
下边主要介绍从源代
颞會靈锦芜訥軹綹繳颢欢滚學陇颢。
码开始安装的方式。
要设置OpenMOSIX群集，需要两个或更多连结在局域网中的Linux系统。
要运转OpenMOSIX，这些系统应当能编鍾滅泞疯蠐丽贲苁爺绩哗齒蘭艳蝈。
译和运转系列的内核。
每个Linux系统都成为群集中的一个节点。
至于OpenMOSIX系统的安装，能够按以下步骤实
阵携烧綸剑賡冈纖絎窝愤報謖妆弃。
现。
1．集群内核的安装
第一，需要下载OpenMOSIX内核补丁。
这个补丁应用
于特定版本的现成Linux内核，进而增添OpenMOSIX功能。
下载的OpenMOSIX内核补丁，保证到它是针对现有的Linux
内核版本，OpenMOSIX网站上会指明它所合适的内核源代码
树。
2．安装userland工具
userland工具主要用于管理OpenMOSIX集群的运转。
既
能够在每个节点机上分别编译userland工具，也能够在一个
节点上编译这些工具散发到每个节点机。
全部节点都启动并运转后，经过察看/proc/hpc/nodes可
數爐訊锻辋鸹块聵鰷闯铴镯哗鋒夾。
以看到全部节点机。
经过OpenMOSIXuserland工具或
/proc/hpc/admin能够有效地调整OpenMOSIX的工作方式。
经过使用OpenMOSIXtress-test测试套件，能够全面详尽地
测试整个集群系统。
OpenMOSIXVIEW那么供给了监测系统的工
具。
OpenMOSIX系统应用剖析
集群计算中最重要的手段是散布办理，这就波及到数据
的可分性和程序的可分性。
数据可分指数据之间没有必定的
联系，能够分别办理，比方MP3的压缩、有限元计算的某个
步骤等。
拥有这种性质的数据很适合采纳集群技术。
比如，
假如需要使用群集压缩8个数字音轨，那么能够简单地同时启
飙豬峥崢绥镡臍钮珑蹤锓榉硤蠐齐。
动全部8个音频编码进度。
数秒以后，OpenMOSIX会将每个
进度都迁徙到群集中的一个适合节点上。
假如该群集恰巧有
个节点，那么达成音频编码作业的速度几乎比使用一台机器时快8倍。
程序可分是集群重要的应用根基。
即便程序不行分，而
集群借助于子进度迁徙，也意味着近似SMP系统支持程序可分。
OpenMOSIX在进度级别上拥有优秀的伸缩性。
颗锋琺類缧厢攒緱鹄鸿曄陕攤橋濟。
OpenMOSIX能够通畅无阻地在节点之间迁徙大部分标准
Linux进度。
假如一个应用程序派生出很多子进度，每个子进
程都履行工作，那么OpenMOSIX能够将这些进度中的每一
籃酱氲擺黪叁閫馭囀貼瘪業铭綬孌。
个都迁徙到群集中的一个合适的节点上。
即便特定应用程序
并无设计成使用多个能够独立迁徙的子进度，也能够利用
这种能力。
OpenMOSIX像SMP系统同样，不可以在多个物理CPU上
同时履行单个进度。
这意味着OpenMOSIX不可以加快诸如浏
览器这样的单进度程序，而只好将它迁徙到履行效率最高的
节点上。
别的，OpenMOSIX目前不支持多个协作线程相互隔
离。
OpenMOSIX合适以下应用环境有CPU密集型办理〔如一
些拥有相对低IPC关系的科学、工程计算〕、多用户的分时环
境、并行办理环境和I/O、CPU混淆型任务等等，因为拥有
DFSA和MFS的支持这种工作OpenMOSIX也能够办理较好。
OpenMOSIX应用在音频、图像的编码办理方面是特别合
蜆渎筛飙兗腽钯钉莖贡門緄碍鷓犷。
适的，使用OpenMOSIX作为编译环境也是很好的选择。
OpenMOSIX与MPI、PVM配合得也很优秀。
因为OpenMOSIX出现时间不长。
它的好多应用还有待开发。
赔鉗孌緝煒鯊戆胧呕帐缨绳霁鋃鹧。
应用本卷须知
OpenMOSIX系统的整体性能主要遇到以下
4个条件的制
约。
1〕节点机的性能。
节点机的性能对集群系统的影响是不言自明的。
2〕系统的调动算法。
OpenMOSIX的占先式进度迁徙、
MFS文件系统等保证了在一些应用下，OpenMOSIX性能几
乎与群集的CPU资源成线性关系。
3〕程序的优化。
OpenMOSIX是以进度迁徙为根基的，所以一个〔或多个〕被设计为拥有多个进度或子进度的程序，在OpenMosix集群下运转会有很好的成效。
4〕OpenMOSIX的节点间通讯是TCP/IP为根基的，所以网络的性能对系统性能有较大影响。
网络的性能关于集群
鍶嶼綢蕕嫗鯧铝婵总媯鋟鉍塏吴鷴。
系统的性能的影响十分明显，往常能够在网络连结的选型、网络拓扑构造、通讯方式、任务粒度区分等方面改进网络性財餌鲨钉敵詡緘绂籠盧闱嘘兒丛锷。
能。
目前一些商用集群的节点间连结往常使用迅速以太网、
千兆以太网、Myrinet等。
此中迅速以太网能够供给100Mbps
聯闭进嘖丢聋脫驍鳐鸡隶銣殇賞蔥。
的链路带宽，千兆以太网可供给1Gbps带宽；而Myrinet由
一系列互换开关构成，互换开关内部使用流水线体制，目前
其带宽已经抵达2Gbps以上。
在通讯网络的协议选择上能够
使用一般的TCP/IP协议，也能够使用等效TCP/IP协议的精简
协议，如ActiveMessage、FastMessage、VIA〔VirtualInterface
Architecture〕等。
因为网络通讯延时的关系，通讯网络的拓扑构造对高性
能计算机的性能有着特别重要的影响。
不一样拓扑构造的功能
特征、网络时延、带宽、硬件复杂性、可扩展性和靠谱性也
不同样。
下边是三种根本的连结方式：
〔1〕2D或3D网络〔2D、
3DMesh〕：
连结方式特别简单，在同时对节点与其周边节点
互换数据屡次的应用处合特别有效。
这种网络的性能主要取
决于网络中路由器的性能。
〔2〕超立方体〔Hypercube〕网络：
这种连结的主要思想是减小随意两个节点间通讯的“Hop〞
数。
它的扩充性能较差，跟着超立方体维数的增添所需要的
节点数量按指数增添。
〔3〕互换网络：
全部的节点都直接与
峦秽黿鳟顯闈纷缝橋訐钵韪賁吗鳗。
一个或多个高速互换开关相连，属于动向连结方式且速度很
快。
在好多状况下，关于一个给定的并发程序，其实不是增添
更多的办理节点就能够获取更多的性能，因为跟着节点数量
的增添，节点间通讯开支、同步的开支等都会增添。
所以为
了提升整个系统的性能，需要在任务通讯时做以下几点的均
衡考虑：
〔1〕所需办理节点的数量；〔2〕履行任务模块或划
分的数量〔如能否将一些小规模的任务组合在一同串行执
行〕；〔3〕系统通讯开支。
为了均衡好上述要素，能够对任务粒度〔TaskGranularity〕
作简单的剖析。
一个比较通用的任务粒度的定义以下：
G=R/C
式中G是任务粒度，R代表程序履行的时间，C是以通讯时延为主的额外开支。
G越小那么粒度越细，数据流计算中
的程序指令就是一个细粒度的典型例子；另一方面，假如G越大那么粒度越粗大，其典型的例子有任务的子程序和函数等。
悭軟浇頰唢諍饼譖纹螻猻渎粪闭苌。
往常的细粒度的任务并行度高，可是通讯开支大；粗粒度任务的并行度低，但通讯开支小。
为了最大限度发挥高性能计算机的并行度，常常把减小系统通讯延时作为任务区分的依照，马上一些任务区分到一个节点上串行履行，使得通讯延时的减小成效超出串行履行对性能的影响。
因此，关于OpenMOSIX集群系统能够经过采纳低延缓、高吞吐量的网络技术，使用合理的拓扑构造，优化任务粒度来提升OpenMOSIX集群系统的性能。
自然这些问题需要详细剖析。
轵辽緹裣賓繅鑿荦濱詒輜聋養肠殮。
总之，OpenMOSIX是在Linux系统群集上智能地散布任务的有效的解决方案。
同时因为OpenMOSIX对硬件的依靠
性很低，并且不需要改写应用程序，所以OpenMOSIX是一
媼譴辂骚鐲縫鏷閆嫻濒业难驤鵑輻。
种特别经济、高效的高性能集群系统。
作者地点：
大庆市八
百垧钻井工程技术研究院
小资料：
OpenMosix
MOSIX代表MulticomputerOperatingSystemforUnix，它
是一个使用Linux内核来实现进度负载均衡集群系统，为
Linux供给了透明的群集解决方案。
MOSIX本来是GPL
GeneralPublicLicense，通用公共同意证〕代码。
可是，在
2001年末，Mosix工程的领导者决定在非GPL同意证下公布
Mosix的全部新版本。
此刻新的Mosix代码根本不包括任何
同意证。
因为这一忽如其来的变化，不再可以把今后的Mosix
韪纠韌淚呗灭鐐嘍麼牵鈦谗赜辈诰。
看作是免费软件。
所以，出现了OpenMosix工程，OpenMosix
是Mosix的一个新分支，目的是保证广阔用户能够持续使用
Mosix的免费版本。
第一个OpenMosix于2002年1月公布，目前最新的版本是。
自从OpenMosix工程开始以来，原Mosix用户多半转移到了OpenMosix系统。
頇輛祿鴟纺踊袅鳍烟賭芻絡鰍楨繚。
升级会员 