分布式系统常用思想和技术总结.docx

1、分布式系统常用思想和技术总结分布式系统常用思想和技术总结XX最近发表了一篇名为分布式系统常用思想和技术总结的范文，感觉很有用处，这里给大家转摘到XX。篇一：分布式与云计算总结进行数据复制主要出于两个目的：可靠性和性能。数据一旦被复制，就会带来一致性的问题。以数据为中心的一致性模型严格一致性（）：对于数据项的任何读操作将返回最近一次对进行写操作的结果所对应的值。严格一致性是限制性最强的模型，但是在分布式系统中实现这种模型代价太大，所以在实际系统中运用有限。顺序一致性：任何执行结果都是相同的，就好像所有进程对数据存储的读、写操作是按某种序列顺序执行的，并且每个进程的操作按照程序所制定的顺序出现在这

2、个序列中。也就是说，对，然后把它们传给(规约)函数，把具有相同中间形式的合并在一起。文件存储位置：源文件：处理结果：本地存储处理结果：日志：单词计数：:自动对文本进行分割XX节点寻找这个资源，首先，在上查找后继节点为，发现并不符合?(;的要求，那么直接在的路由表上查找符合这个要求的表项（由远及近查找），我们发现路由表中最远的一项+-满足?(;，则说明这个点离持有这个资源的节点最近（因为在该路由表中离这个节点最远），那么此时跳到这个节点上继续查找。的后继节点为，不符合?(;的要求，说明不持有资源，此时，开始在的路由表上查找，我们由远及近开始查找，发现+-满足?(;，则说明这个点离持有这个资源的节

3、点最近，那么此时跳到这个节点上继续查找。任何读、写操作的交叉都是可接受的，但是所有进程都看到相同的操作交叉。顺序一致性由（）在解决多处理器系统的共享存储器时首次提出的。因果一致性：所有进程必须以相同的顺序看到具有潜在因果关系的写操作。不同机器上的进程可以以不同的顺序看到并发的写操作（和）。假设和是有因果关系的两个进程，例如的写操作信赖于的写操作，那么和对的修改顺序，在和看来一定是一样的。但如果和没有关系，那么和对的修改顺序，在和看来可以是不一样的。一致性：在因果一致性模型上的进一步弱化，思想汇报专题要求由某一个使用者完成的写操作可以被其他所有的使用者按照顺序的感知到，而从不同使用者中来的写操作

4、则无需保证顺序，就像一个一个的管道一样。相对来说比较容易实现。弱一致性：要求对共享数据结构的访问保证顺序一致性。对于同步变量的操作具有顺序一致性，是全局可见的，且只有当没有写操作等待处理时才可进行，以保证对于临界区域的访问顺序进行。在同步时点，所有使用者可以看到相同的数据。释放一致性：弱一致性无法区分使用者是要进入临界区还是要出临界区，释放一致性使用两个不同的操作语句进行了区分。需要写入时使用者该对象，写完后，-之间形成了一个临界区，释放一致性也就意味着当操作发生后，所有使用者应该可以看到该操作。入口一致性：入口一致性要求每个普通的共享数据项都要与某种同步变量关联。数据存储满足下列条件，那么它

5、符合入口一致性：在一个进程获取一个同步变量签，所有由此同步变量保护的共享数据的都必须已经由相应进程执行完毕。、在一个进程对一个同步变量的独占访问被允许前，其他进程不可以拥有这个同步变量，也不能以非独占方式拥有这个同步变量、一个进程对一个同步变量执行独占访问之后，对该同步变量的所有者进行检查之前，任何其他的进程都不能执行下一个独占访问。以客户为中心的一致性模型最终一致性：最终一致性指的是在一段时间内没有数据操作的话，那么所有的副本将逐渐成为一致的。例如就是采用这种模型。范文写作以一次写多次读的情况下，这种模型可以工作得比较好。单调读：如果一个进程读取数据项的值，那么该进程对执行的任何后续读操作将

6、总是得到第一次读取的那个值或的值单调写：一个进程对数据执行的写操作必须在该进程对执行任何后续写操作之前完成。写后读：一个进程对数据执行一次写操作的结果总是会被该进程对执行的后续读操作看见。读后写：同一个进程对数据项执行的读操作之后的写操作，保证发生在与读取值相同或比之的值上时钟：在一般意义上指的是一个计算机的物理时间，每个计算机都会包括他们自己的物理时钟，不同的计算机的物理可能会不同。时钟漂移：经过在同个地方的计算机，他们的物理也有可能会不一样，如果他们从刚刚开始相同的时间计时开始，过了过月，年也可能会有快又慢，这在专业名词上讲叫做时间漂移。本质的原因是每秒的时间偏移，经过日记月累之后，就会有

7、可能达到秒钟的差距，范文解决的办法很简单，就是过一段时间之后，将时间纠正回来就可以了。：全称是，协调世界时，又称世界统一时间，用来进行高进度时间的同步。协调世界时以原子时秒长为基础，在此时刻上尽量接近于世界时的一种时间计量系统。同步物理时间：主要手段分为个，靠的是协调世界时，给定一个边界值,满足条件|()-()|同步系统中的时间同步：我们首先在一般情况下进行考虑，比如个进程，相互之间只允许进行消息传递来进行通信，如何进行事件同步，假设传输的时间为()，假设发送进程发送的时间为,则的时间应该设置成+(),这个很好理解，基于这个思路继续，发送的传输时间一般不可能是固定的，可能受网络环境的影响或快或

8、慢，所以定义了传输的时间上界()，下界()，则此时的抵达时间应该设置成+(+)/，时钟同步方法：利用了时间服务器，连接上设备并且能够接受从资源发来的信号进行同步，最全面的范文写作网站以的时间作为同步的时间。定义一个进程，一个，请求消息为()，接收消息()，()中包含了从时间服务器中获取的的时间，进程记录了收发的总延时()，则进程接收到消息后，他的时间应该是()=()中的时间+()/：用的是的方法，给定一组计算机，选出一个作为，作为，这个选择机器中将要被同步的机器，叫做,通过计算与这些机器之间进行时间交换，平均快的和慢的时间，最终达到时间一致性，在比较的过程中，就可以排除明显偏差大的时间了。：和

9、算法都是偏向于用于小规模的内网中，而则是一种在因特网上的分布式时间服务。他定义了的结构。有下面几个特点。、了一个客户端可以从网络中精准同步时间的客户端。、服务端通过接口的形式方便客户端的调用。、服务器与服务器之间的时间同步是以层级控制的方式构成。级节点同步个级节点，（）可能又同步个级节点，()也可能个级节点。其中的时间交互协议通过信息之间的交换。逻辑时间和时钟：逻辑时间，从字面上理解当然不同于物理时间，在分布式系统中，运用逻辑时间的例子也不少，假设()表示的是消息事件的发生事件，当进程接收到的时候，就需要对时间做递增操作，()=()+，逻辑意义上的时间增加。全局有序逻辑时间-：是向量时钟，可以

10、可以保证全局有序的逻辑时间，通过保存了进程的当前进行到的时间，当进程接收到相应的消息事件时，则在对应的位置上上进行=+的操作，当做向量比较的时候，需要对每个位置上进行比较，如果中的全部小于中的时，才算事件早于事件发生。模式的主要思想是将自动分割要执行的问题（例如程序）拆解成（映射）和（化简）的方式，流程图如下图所示：在数据被分割后通过函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果，在通过函数的程序将结果汇整，从而输出开发者需要的结果。借鉴了函数式程序设计语言的设计思想，其软件实现是指定一个函数，把键值对(/)映射成新的键值对，形成一系列中间结果形式的/:在分割之后的

11、每一对进行用户定义的进行处理，再生成新的对:对输出的结果集归拢、排序(系统自动完成）:通过操作生成最后结果的容错故障：周期性的每个。如果在一个确定的时间段内没有收到返回的信息，那么它将把这个标记成失效重新执行该节点上已经执行或尚未执行的任务重新执行该节点上未完成的任务，已完成的不再执行故障：定期写入检查点数据、从检查点恢复、系统容错的一些要求：（）可用性（）用来描述系统在给定时刻可以正确的工作。（）可靠性（）指系统在可以无故障的连续运行。与可用性相反，可靠性是根据时间间隔而不是任何是可以来进行定义的。如果系统在每小时中崩溃，那么他的可用性就超过%，但是它还是高度不可靠的。与之相反，如果一个系统

12、从来不崩溃，但是要在每年月中停机两个星期，那么它是高度可靠的，但是它的可用性只有%。因此，这两种属性并不相同。（）安全性（）指系统偶然出现故障的情况下能正确操作而不会造成任何灾难。）可维护性（）发生故障的系统被恢复的难易程度。、故障分类：故障通常被分为暂时的（）、间歇的（）和持久的（）。、使用冗余来掩盖故障：如果系统是容错的，那么它能做的最好的事情就是对其他进程隐藏故障的发生。关键技术是使用冗余来掩盖故障。有三种可能：信息冗余、时间冗余和物理冗余。信息冗余中，添加额外的位可以使错乱的位恢复正常。例如可以在传输的数据中添加一段码来从传输线路上的噪声中恢复数据。关于利用信息冗余进行错误检测和纠正，

13、将在后续内容中叙述。时间冗余中，执行一个动作，如果需要就再次执行。使用事务就是这种方法的一个例子。如果一个事务中止，那么它就可以无害的重新执行。当错误是临时性或间歇性时，时间冗余特别有用。/协议中的重传机制，是另外一个例子。物理冗余中，通过添加额外的装备或进程使系统作为一个整体来容忍部分组件的失效或故障成为可能。物理冗余可以在硬件上也可以在软件上进行。其中，一种著名的设计是（三倍模块冗余，）。在包括的系统中，每个关键模块中的部件都被复制了三份，采用多数表决的方法，确保当某些某块中的单个部件发生故障时，系统还可以正确的运行。两种基本的策略用于错误处理过程。一种方法是在信息块中包含足够的冗余信息，

14、以便推断出这些数据中肯定有哪些内容，即使用纠错码的策略。另一种也是包含一些冗余信息，但是这些信息只能推断出发生了错误，却推断不出发生了哪些错误，即使用检错码的策略。使用纠错码的技术通常也被称为前向纠错。的主要思想是：首先，每条文件索引被表示成一个(,)对，称为关键字，可以是文件名（或文件的其他描述信息）的哈希值，是实际存储文件的节点的地址（或节点的其他描述信息）。所有的文件索引条目(即所有的（,）对)组成一张大的文件索引哈希表，只要输入目标文件的值，就可以从这张表中查出所有存储该文件的节点地址。然后，再将上面的大文件哈希表分割成很多局部小块，按照特定的规则把这些小块的局部哈希表分布到系统中的所

15、有参与节点上，使得每个节点负责维护其中的一块。这样，节点查询文件时，只要把查询报文路由到相应的节点即可（该节点维护的哈希表分块中含有要查找的(,)对）。里面的基本要素节点：（），表示一个物理机器，位的一个数字（要足够大以保证不同节点的相同的几率小的可以忽略不计），由节点机器的地址通过哈希操作得到。资源；（），原为键，其实际表示一个资源（因为与一个资源哈希绑定），故在本文中统称资源（这样比较直观），位的一个数字（要足够大以保证不同资源的相同的几率小的可以忽略不计），由通过哈希操作得到。常哈希函数：较之一般哈希函数，节点的加入和离开对整个系统影响最小，另外还有一些优势在此不赘述。在中使用-来进行常

16、哈希计算。环：，和被分配到一个大小为的环上，用于资源分配（给某一节点）和节点分布，以及资源定位（注：在这个环上的为-）。首先我们说资源分配，资源被分配到=的节点上，这个节点成为的后继节点，是环上从起顺时针方向的第一个节点，记为()。节点分布则顺时针将节点由大到小放在这个环上。=的环，有个节点，个资源，的后继节点为，也就是说被分配给了资源定位（）：资源定位是协议的核心功能简单的资源定位方法：节点寻找为的资源，此时节点首先问询是否在下一个节点上（_），这要看资源的是否在该节点和下一个节点的之间，若在则说明资源被分配给了下一个节点，若不在则在下一个节点上发起同样的查询，问询下下一个点是否有该资源。节

17、点寻找这个资源，发现下一个节点不合符?(;，于是发起同样的搜索，然后一跳一跳后直到节点满足?(;，于是得知资源在这个节点上。可伸缩方法：在每个节点上都维护了最多有项（为的位数）的路由表（称为），用来定位资源。这个表的第项是该节点的后继节位置，至少包含到(-)后的位置。每个节点只包含全网中一小部分节点的信息。每个节点对于临近节点负责的位置知道的更多，比如节点对于负责的位置知道处，而对负责的位置只知道处。路由表通常不包含直接找到后继节点的信息，往往需要询问其他节点来完成。当在某个节点上查找资源时，首先判断其后继节点是不是就持有该资源，若没有则直接从该节点的路由表从最远处开始查找，看哪一项离持有资源

18、的节点最近（发现后跳转），若没有则说明本节点自身就有要寻找的资源。如此迭代下去。节点的后继节点为，符合?(;，此时定位完成，持有资源节点。的节点加入：通过在每个节点的后台周期性的进行询问后继节点的前序节点是不是自己来后继节点以及路由表中的项现在节点要加入系统，首先它指向其后继，然后通知，接到通知后将标记为它的前序节点（）。然后修改路由表，下一次运行()询问其后继节点的前序节点是不是还是自己，此时发现的前序节点已经是。于是就将后继节点修改为，并通知自己已经将其设置为后继节点，接到通知后将设置为自己的前序节点。这个加入操作会带来两方面的影响：)正确性方面：当一个节点加入系统，而一个查找发生在结束前

19、，那么此时系统会有三个状态：所有后继指针和路由表项都正确时：对正确性没有影响。后继指针正确但表项不正确：查找结果正确，但速度稍慢（在目标节点和目标节点的后继处加入非常多个节点时）。)效率方面：当完成时，对查找效率的影响不会超过()的时间。当未完成时，在目标节点和目标节点的后继处加入非常多个节点时才会有性能影响。可以证明，只要路由表调整速度快于网络节点数量加倍的速度，性能就不受影响。节点失败的处理我们可以看出，依赖后继指针的正确性以保证整个网络的正确性。但如图，若,同时失效，那么是不会知道是它新的后继节点。为了防止这样的情况，每个节点都包含一个大小为的后继节点列表，一个后续节点失效了就依次尝试列

20、表中的其他后继节点。可以证明，在失效几率为/的网络中，寻找后继的时间为()。的特征和应用特征：去中心化，高可用度，高伸缩性，负载平衡，命名灵活。应用：全球文件系统、命名服务、数据库请求处理、互联网级别的数据结构、通信服务、事件通知、文件共享。访问透明性：用相同的操作访问本地资源和远程资源。位置透明性：不需要知道资源的物理或网络位置（例如，哪个建筑物或地址）就能够访问它们。并发透明性：几个进程能并发地使用共享资源进行操作且互不干扰。复制透明性：使用资源的多个实例提升可靠性和性能，而用户和应用程序员无须知道副本的相关信息。故障透明性：屏蔽错误，不论是硬件组件故障还是软件组件故障，用户和应用程序都能

21、够完成它们的任务。移动透明性：资源和客户能够在系统内移动而不会影响用户或程序的操作。性能透明性：当负载变化时，系统能被重新配置以提高性能。伸缩透明性：系统和应用能够进行扩展而不改变系统结构或应用算法。最重要的两个透明性是访问透明性和位置透明性，它们的有无对分布式资源的利用有很大影响。有时它们统一称为网络透明性。云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算的类别：云计算特点（）超大规模()虚拟化()高可靠性()通用性()高可扩展性()极其廉价()潜在的危险性的云计算应用均依赖于四个基础组件）分布式文件存储，

22、）并行数据处理模型）分布式锁）结构化数据表的作用为锁服务，选择节点；记录的相关描述信息通过独占锁记录的活跃情况、为锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息）、（可能）记录的任务信息、为第三方锁服务与文件存储的作用存储的子表文件、为第三方应用大尺寸文件存储功能文件读操作流程：与通信，获取文件元信息、根据指定的读取位置和读取长度，发起并发操作，分别从若干上读取数据、组装所得数据，返回结果的作用对中的数据进行并行计算处理（如统计、归类等）使用或存储计算结果的作用为云计算应用（或第三方应用）数据结构化存储功能类似于数据库、为应用简单数据查询功能（不支持联合查询）为数据源或数

23、据结果存储的存储与服务请求的响应划分为子表存储，每个子表对应一个子表文件，子表文件存储于之上、通过元数据组织子表、每个子表都被分配给一个子表服务器、一个子表服务器可同时分配多个子表、子表服务器负责对外服务，响应查询请求为了做到可靠性（）创建了多份数据块（）的复制（），并将它们放置在服务器群的计算节点中（），就可以在它们所在的节点上处理这些数据了。关键运行机制-保障可靠性的措施）一个名字节点和多个数据节点-数据复制（冗余机制）存放的位置（机架感知策略）-故障检测）数据节点-心跳包（检测是否宕机）-块报告（安全模式下检测）数据完整性检测（校验和比较）名字节点（日志文件，镜像文件）-空间回收机制关键

24、运行机制-读文件流程客户端缓存、流水线复制、并发写控制、客户端联系,得到所有数据块信息，以及数据块对应的所有数据服务器的位置信息、尝试从某个数据块对应的一组数据服务器中选出一个，进行连接（选取算法未加入相对位置的考虑）、数据被一个包一个包发送回客户端，等到整个数据块的数据都被读取完了，就会断开此链接，尝试连接下一个数据块对应的数据服务器，整个流程，依次如此反复，直到所有想读的都读取完了为止与比较中心服务器模式的差异：多台物理服务器，选择一台对外服务，损坏时可选择另外一台服务；：单一中心服务器模式，存在单点故障。原因：缺少分布式锁服务子服务器管理模式差异：在中获取独占锁表示其生存状态，通过轮询这

25、些独占锁获知的生存状态：通过心跳的方式告知其生存状态中，损坏时，替补服务器可以快速获知的状态；中，损坏后，恢复时需要花费一段时间获知的状态。在添加数据存储节点时，的伸缩性较要好原因：缺乏分布式锁服务分布式系统的定义：分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关的系统（中间件）。分布式的目标：分布式系统必须能够让用户方便地与资源连接；必须隐藏资源在一个网络上分布这样一个事实；必须是开放的；必须是可扩展的。透明性：一个分布式系统能够在用户和应用程序面前呈现为单个计算机系统；透明性的种类：访问透明性：隐藏不同数据表示形式以及资源访问方式的不同。位置透明性：隐藏资源在系统中的

26、物理位置。并发透明性：隐藏资源是否由若干相互竞争的用户共享。持久性透明性：隐藏资源位于内存中还是硬盘中。迁移透明性：指分布式系统中的资源移动不会影响该资源的访问方式。复制透明：指对同一个资源存在多个副本的隐藏。一个开放的分布式系统就是根据一系列准则来服务，这些准则描述了所服务的语法和语义。可扩展性至少可以通过个方面度量：规模上扩展用户和进程的数量、地域上可扩展节点之间的最大距离、管理上可扩展管理域的数量。分散式算法与集中式相比不同的特性：没有任何计算机拥有关于系统状态的完整信息；计算机只根据本地信息做出决策；某台计算机的故障不会是算法崩溃；没有存在全局性时钟的假设。扩展技术：隐藏通信等待时间避

27、免等待远程服务对请求的响应，做其它工作。分布技术：把某个组件分割成多个部分，然后再将它们分散到系统中去(如、)。复制/缓冲：将组件复制并拷贝分布到系统各处；缓冲与复制不同的是，是否进行缓存是由要访问资源的客户决定的，而不是资源拥有者决定。缺点是一致性问题。分布式系统的分类：应用层多播树的质量通常以三种不同的尺度来度量，一是链接树；二是相对延时补偿；三是树成本。分布式系统中，有三种不同的命名系统，它是无层次命名；结构化命名和基于属性的命名。在无层次命名中，通常有广播和多播、转发指针、基于宿主位置、分布式散列表、分层结构等方法实现实体定位。基于属性的命名系统实现的方式有两种。一种是分层实现，使得目

28、录项集合形成了分层的目录信息树。而另一种是非集中式实现，它是采用映射到分布式散列表的方式。一次将所有的消息以相同的顺序传送给每个接收的多播操作称为全序多播。戳可以用于以完全分布式的方式实现。高速缓存相关性协议的设计与实现是基于两种策略的：一是相关性检测策略；二是相关性实施策略。在开发的持久一致性协议中，有三种限定的偏差：它们是限定复制的数字偏差、限定复制的新旧程度偏差和限定顺序偏差。在名称解析的实现中，通常采用两种方法，一是迭代名称解析；二是递归名称解析。下面特征分别属于计算机网络和分布式计算机系统，请加以区别：分布式计算机是指系统内部对用户是完全透明的；系统中的计算机即合作又自治；系统可以利

29、名称到地址的映射很少更改，因此，这些结果可以缓存很长一段时间。简述进程与程序的联系和区别答：（）联系：一个进程可以涉及到一个或几个程序的执行；一个程序可以对应一个或多个进程，即同一程序段可以在不同数据集合上运行，可构成不同的进程，例如打印输出程序段，例如同一高级语言编译程序与多个用户源程序。（）进程和程序的区别主要体现在：）进程是动态的，具有一定的生命周期，而程序是静态的；）进程可并发执行，而没有创建进程的程序是不能执行的；）进程是操作系统中申请和分配资源的基本单位，而没有创建进程的程序是不能申请资源的；）进程包括程序、数据和进程控制块；）同一程序的多次执行对应多个进程原子多播的可扩展性重要到

30、哪种程度上？答：它取决于一组包含多个进程的状态。如果进程为故障容错进行了复制，拥有少量的副本可能就足够了，在这种情况下，可扩展性几乎不成问题。如果是由不同进程构成的组，可扩展性就可能成了一个问题。当为了性能而复制时，原子多播自身可能超出负荷的能力。在两阶段提交协议中，为什么即使在参与者们选择一个新的协调者的情况下也不会完全消除阻塞？答：因为选举结束后，新的协调者也同样可能会崩溃。在这种情况下，其余的参与者也不能做出最后决定，因为这需要由新当选的协调者发起选举。分布式计算系统、分布式信息系统、。分布式事务处理的特性，原子性；一致性：事务处理不会违反系统的不变性；独立性：并发的事务处理不会相互干扰；持久性：事务处理一旦提交，所发生的改变是永久性的。根据组件和连接器的不同，分布式系统体系结构最重要的有种，它们是：分层体系结构、基于对象的体系结构（-）、以数据为中心的体系结构、基于事件的体系结构在客户-服务器的体系结构中，应用分层通常分为层，用户接口层、处理层和数据层。有两种类型的分布式操作系统，多处理器操作系统和多计算机操作系统。系统体系结构：软件体系结构的具体实例。确定了软件组件、这些组件的交互以及它们的位置就是软件体系结构的一个实例。分布式软件体系结构主要分集中式、非集中式和各种混合形式三大类。其非集中式体系