专题3-P2P网络体系结构(2013简)PPT推荐.ppt

1、C/S、P2P模式的混合q无结构P2P网络：分布/松散的结构q结构化P2P网络：准确、严格的结构n设计和实现P2P网络应解决的基本问题q路由和定位、查询和搜索、动态结点算法、容错性nP2P网络的增强机制q数据复制、缓存、分片；负载均衡；拓扑一致性；匿名、声誉、信任、安全性P2P网络的优势一、充分利用网络带宽nP2P不通过服务器进行信息交换，无服务器瓶颈，无单点失效，充分利用网络带宽，如BT下载多个文件，可接近实际最大带宽，HTTP及FTP很少有这样的效果二、提高网络工作效率n结构化P2P有严格拓扑结构，基于DHT，将网络结点、数据对象高效均匀地映射到覆盖网中，路由效率高三、开发了每个网络结点的

2、潜力n结点资源：计算能力及存储容量n个人计算机并非永久联网，是临时性的动态结点，称为“网络边缘结点”nP2P使内容“位于中心”转变为“位于边缘”，计算模式由“服务器集中计算”“分布式协同计算”四、具有高可扩展性（scalability）n可扩展性衡量，当网络结点总数增加时：q结点负载如何改变q为适应规模扩大而需要增加的额外设备的数量q任意两个网络结点通信效率如何改变，尤其是路由效率nP2P网络中，结点间分摊通信开销，无需增加设备，路由跳数增量小五、良好的容错性n冗余方法n周期性检测n结点自适应状态维护P2P网络的各种应用n文件共享：代替ftp，前述典型的P2P模型n多媒体传输：Skype（语音

3、），PPLive（视频）n实时通信：QQ、MSN Messenger、Skype，都支持C/S、P2P模式n协同工作：Groove虚拟办公室n分布式数据存取：广域、海量，CFS、PAST、OceanStore、Granaryn分布式计算：GPU，Gnutella全球处理单元，计算任务由对等结点而非服务器分配，SETIHome，U.C.Berkeley搜索外星文明nP2P搜索引擎：第三代搜索引擎技术，离实用有差距n其它 第一代P2P网络混合式P2P体系：Napster与BT内容nNapsterP2P网络的先驱nBitTorrent分片优化的新一代混合式P2P网络n第一代P2P网络的特点 Naps

4、ter：P2P网络的先驱n世界上第一个应用性P2P网络，混合式P2P体系最杰出的代表n1999年波士顿东北大学的Shawn Fanning开发Napster，用于MP3文件交流，与传统的提供音乐下载的网站不同，Napster服务器里无歌曲，仅有其它用户硬盘上的文件的索引nNapster使用的软件技术都是当时已有的，只是改变了软件的应用体系，打破了客户/服务器模式的瓶颈nNapster半年吸引了5000万注册用户，最高时超过6100万用户一、Napster网络的工作原理Napster网络由两个部分组成：nNapster用户（peer）nNapster网站（N）是一个服务器机群q提供统一的用户访问

5、接口q各自保存一部分用户的共享文件索引信息npeer与固定的server相连q加入时，将自身信息（连接带宽、存储空间等）以及共享文件信息发送给server，server记录信息内容及用户位置（文件索引）q查询时，peer将查询消息发给server，server与其它server协作后回复表单（包括所有匹配的文件索引）q下载时，peer直接从索引中选取peer并与之建立连接、下载文件nNapster网站的功能q维护所有用户的共享文件索引q监控系统中每个用户的状态（用户报告的连接带宽、用户连入时间、是否掉线）q删除掉线用户的索引，保证文件索引的时效性q响应用户的查询请求，查询的返回消息中可包含带宽

6、等信息，便于用户选择连接Napster的性能分析n检测结果与结论qNapster机群包括大约160台服务器q每个用户只与一台服务器建立连接q新用户加入网络时，可以选择是否报告连接带宽，但大多不报告，或者故意误报以减少其他用户从自己下载（自私性）q结点异构性很强，表现在连接带宽、时延、连接时长、共享文件性等方面，如25%64Kbps，50%Cable DSL，20%3M以上；超过50%的连接时间6h的不到10%q用户自私性：20%40%用户几乎从不提供文件共享，仅1%结点为文件提供者n因此，类似Napster的P2P网络在设计、优化时应考虑q结点异构性：让不同能力的结点扮演不同的角色q协同传输:

7、增加并行传输连接数目,避免系统瓶颈.q激励机制:鼓励上传，限制或禁止自私结点使用网络n进一步的发展，BitTorrent：q相同架构，但文件分片，使用散列函数映射q用户有上传义务q网络及用户信息更新、BT种子维护由server中的Tracker完成，下载同一文件的用户围绕Tracker形成独立子网，不同文件的Tracker在不同server上，将server分散化，成为P2P在国内最成功的应用BitTorrent：分片优化的新一代混合式P2P网络nBT体系原理nBT分片机制nBT阻塞算法nBT性能分析nBT体系总结nP2P下载对硬盘的影响BT体系原理BT网络的四个组成部分nBT网站：提供BT种

8、子文件（即.torrent文件）搜索的服务器，每个服务器包含部分种子文件的索引n.torrent文件服务器：小型的种子数据库nTracker（跟踪服务器）：BT网络和用户信息的维护者，帮助用户交互，下载同一个文件的用户围绕Tracker形成一个独立的子网nBT用户：可同时下载多个文件BT用户的下载步骤nBT用户通过某个BT网站搜索文件，该网站将搜索请求重定向到网站镜像，后者检索并返回给用户该文件的.torrent文件列表n用户选择列表中的.torrent文件，BT软件启动下载任务，并从Tracker获得当前也在下载该文件的用户信息nBT软件与一定数量的用户建立连接，下载文件并同时提供上传n下载

9、过程中每隔一段时间更新一次连接以保持整网的工作效率BT分片机制nBT将文件分为固定大小的分片（典型大小256KB），每个用户必须通知其他下载者自己拥有的分片，分片的完整性由散列函数保证n分片流水作业：构架在TCP之上的应用层协议，同时发送多个请求，以避免在两个分片发送之间的延迟，进一步，分片可以划分为子分片（典型16KB），BT一直保持几个请求（通常是5个）被流水式地同时发送。流水作业选择同时发送的请求数目的依据，是使大多数连接变得饱和以充分利用带宽分片选择策略n严格的优先级（一个分片的下载）q一旦请求了某个分片的子分片，那么该分片的所有子分片具有更高优先级，以尽可能快地获得一个完整的分片n最

10、少者优先（中间阶段/平稳期）q尽量选择所知用户拥有数最少的分片作为下一个下载分片，以使网络中最稀少的分片尽快拥有多个复制q下载者从Tracker了解哪些分片较少分片选择策略n随机的第一个片段（文件下载最初阶段）q当最少的分片只有一个用户拥有时，为避免并发冲突，第一个分片先随机选择，完成下载后再切换到“最少者优先”策略n最后阶段模式（文件下载最后阶段）q为加速最后阶段下载，下载者向他所连接的所有用户都发送某分片的子分片请求，一旦某个子分片到了，下载者就会向其他用户发送cancel消息，以避免浪费带宽BT阻塞算法nBT并不是由Tracker服务器集中分配资源，每个用户自己有责任尽可能地提高自己的下

11、载速率n下载者根据连接用户提供的下载速率给予同等的上传回报（tit-for-tat）；对合作者提供上传服务，对不合作者进行临时阻塞n一个好的阻塞算法应该利用所有可用的资源，为所有下载者提供一致、可靠的下载速率，并适当惩罚只下载而不上传的用户nBT的阻塞算法（choking algorithm）q每隔20秒进行一次轮询：前10秒计算出哪个用户要被阻塞，然后将阻塞状态保持10秒q10秒内足够TCP调整传输速率n最优疏通（optimistic unchoking）q为发现更好的空闲连接，不能只向为自己提供最高下载速率的用户提供上传，而是每隔30秒，重新计算一次哪个连接应该是“最优疏通”n反对冷落（a

12、nti-snubbing）q某个下载者可能被所连接的所有用户阻塞，为缓解该问题，当从某个用户那里一个分片也没有得到，下载者认为被对方“冷落”，不再为对方提供上传。“反对冷落”常常会导致多个并发的“最优疏通”，从而更快恢复下载速率n仅仅上传q用户完成下载后，优先选择可从自己得到更高上传速率的用户或刚好被所有人阻塞的用户BT性能分析 Pouwelse et al.,2004,2005论文n流行性：应用广泛，但BT网站、.torrent文件服务器及Tracker故障率较高，限制了网络规模n可用性：同上，取决于服务器的可用性。实际较低，只有一半的BT网站镜像可正常工作超过2.1天，种子服务器更少n下载

13、性能：当时统计平均速度30KB/sn文件生命周期q该文件的种子生命期，由于服务器故障及用户行为不确定性，差别很大q约17%的用户下载完成后做种时间超过1小时，仅3%用户做种时间超过10小时n污染等级q加入到BT网络中的共享文件的真实性q审查系统（moderation system），三种角色：需要审查的提交者；不需要审查的提交者；审查者。可逐级提升。BT体系总结nBT是混合式结构的P2P网络，以BT网站、.torrent文件服务器和Tracker为核心，控制和帮助用户共享文件n下载同一文件的用户围绕Tracker形成一个独立的子网nBT限定用户在下载的同时必须提供上传，既提高了网络效率，又杜绝

14、了P2P网络中的自私结点现象nBT将文件分片，分片又被划分成子分片，子分片流水作业，并在文件下载的不同阶段有不同的分片选择策略以优化性能。这是BT最大的特点，也是它高效的最本质原因nBT基于经济学规律的阻塞算法，优化了网络资源配置，增强了用户间的协作nBT通过对文件和分片生成散列值，保证文件的完整性nBT提供了一定的安全机制，如文件审查、输入验证码nBT服务器故障率高，导致可用性降低，且网络规模受限，文件无持久性保证第一代P2P网络的特点n拓扑结构q混合式（C/S+P2P）q星型拓扑结构，以服务器为核心n查询与路由q用户向服务器发出查询请求，服务器返回文件索引q用户根据索引与其它用户进行数据传输q路由跳数为O（1），即常数跳n容错性：取决于服务器的故障概率（实际网络中，由于成本原因，可用性较低）n自适应：靠服务器监控实现自组织与自适应，只要服务器正常工作即可有效维护网络和结点信息n匿名性：一般不提供，但支持n增强机制：BT的文件分片、双向传输、防范攻击第二代P2P网络无结构P2P体系Gnutella、KaZaA、eDonkey、FreenetGnutella：纯分布式无结构P2PnGnutella的历史qNullsoft公司，MP3播放软件WinAmp的发明人Justin Frankel、Tom Pepper开发q2000年3月14日在网站上公开Gnutella软件一个半小