FASTDFS文件服务器架构方案.ppt
《FASTDFS文件服务器架构方案.ppt》由会员分享,可在线阅读,更多相关《FASTDFS文件服务器架构方案.ppt(30页珍藏版)》请在冰豆网上搜索。
![FASTDFS文件服务器架构方案.ppt](https://file1.bdocx.com/fileroot1/2022-10/7/80090d88-8621-4b78-a67c-721e4e72a696/80090d88-8621-4b78-a67c-721e4e72a6961.gif)
FastDFS原理概述和介绍,文件服务器架构方案,摘要,分布式文件系统的使命,FastDFS如何应对,FastDFS基础应用,总结:
优缺点,其他文件系统的对比,分布式文件系统的使命,冗余备份;负载均衡;线性扩容等机制;大量请求中高可用、高性能;容灾和可拓展性。
FastDFS如何应对,FastDFS的基本架构特征轻量级;分组方式;对等结构。
轻量级,服务端只有两角色:
跟踪服务器(tracker)和存储服务器(storage),response,request,分组方式,Trackerservers,对等结构,FastDFS基础应用,基础操作,数据流程网络拓扑,实际应用容灾,优化,版本升级,文件上传操作,文件下载操作,文件索引解析,文件的存储方式和返回文件名解析文件名包含:
源头storageIP地址和文件创建时间戳、文件大小、随机数、文件拓展名。
网络拓扑-实施部署方案,说明:
tracker1+squid-1+storage1使用一台服务器,共2台服务器2台服务器配置:
centOS6.3x64位2核+4GB内存+1TB存储达到目标:
扩充空间只需要再增加一组服务器2台服务器可以均衡负荷访问2台服务器的数据一致,解决了实时备份,以HTTP方式下载文件,FastDFS分组存储方式,为HTTP方式下载提供了便利FastDFS支持HTTP方式下载文件,可以使用内置webserver或者外部webserver需要解决文件同步延迟的问题可以采取如下两种方式:
tracker跳转方式:
通过Trackerserver跳转非tracker跳转方式:
Storageserver直接提供文件下载,HTTP下载方式一(tracker跳转),HTTP下载方式一流程解读,通过Trackerserver解决文件同步延迟的问题Trackerserver上需使用内置webserverStorageserver可以使用内置webserver,也可以使用外部webserver。
推荐使用外部webserver,如apache或nginx,HTTP下方式二(非tracker跳转),可以分为两种方式:
跳转方式(redirect)代理方式(proxy),HTTP下载方式二(redirect),HTTP下载方式二(proxy),HTTP下载方式二流程解读,使用扩展模块来解决文件同步延迟问题如果请求文件在当前storage上不存在,通过文件ID反解出源storage,直接请求源storagetrackerserver上不需要任何webserver在每台storageserver上部署webserver,直接对外提供HTTP服务目前已提供apache和nginx扩展模块推荐使用扩展模块方式,总结:
优缺点,优缺点(特性)适用业务场景,特性,不记录文件索引信息对等结构,组内所有storage存储一致采用异步方式将源数据服务器主动push到其他数据库服务器文件不进行分片处理客户端访问时需通过tracker指定storage,优点,支持同一文件只保存一份,节约磁盘空间下载文件支持HTTP协议,可以使用内置WebServer,也可以和其他WebServer配合使用支持在线扩容,支持主从文件storage上可以保存文件属性(meta-data)文件不分块存储,上传的文件和OS文件系统中的文件一一对应(实现了软件RAID),缺点,自带的httpserver端支持不足,storage扩展建议使用nginx;没有支持python的接口;在服务器配置不统一时不能很好的调节磁盘空间负载压力(非动态);需要客户端自行记录存储信息,增加了客户端的信息管理量。
适用的业务场景,某大型网盘(有200个group,存储容量达到了3PB,文件数近1亿)UC(http:
/,其他文件系统的对比,mogileFS特点mooseFS特点TFS特点Hadoop特点,MogileFS特点,有三个角色:
tracker、storage和存储文件信息的mysqldb;使用mysql来存储文件索引等信息,文件同步通过tracker调度和中转;动态冗余,灵活性一般;不支持文件附加属性(metadata);不支持文件偏移下载。
MooseFS特点,MooseFS文件系统结构包括以下四种角色:
管理服务器(master),元数据日志服务器(Metalogger),数据存储服务器(chunkservers),客户端(client);文件分片(64Mb);多点备份,动态冗余备份;可以自定义文件存储路径;需要保持文件索引,内存消耗较大;对小于64Kb的数据的存储性能不高。
TFS(TaobaoFS)特点,完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构。
在块设备基础上建立自有的文件系统,减少EXT3等文件系统数据碎片带来的性能损耗。
单进程管理单块磁盘的方式,摒除RAID5机制。
带有HA机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡。
尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度。
跨机架和IDC的负载均衡和冗余安全策略。
完全平滑扩容。
HDFS特点,1扩容能力(Scalable):
能可靠地(reliably)存储和处理千兆字节(PB)数据。
2成本低(Economical):
可以通过普通机器组成的服务器群来分发以及处理数据。
这些服务器群总计可达数千个节点。
3高效率(Efficient):
通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
4可靠性(Reliable):
hadoop能自动地维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。
附录,参考资料站点:
FastDFS中文:
http:
/www.csource.org/FastDFS英文:
http:
/,