对象存储技术PPT文档格式.pptx

1、Space Management Access Control （Identity Mgmt）QoS Management Cache,Backup Policy Migration,Retention Self-Contained ObjectsMetadata:creation date/time;ownership,size.Attributes inferred:access patterns,content,indexes.Attributes user supplied:retention,QoSBlock Access-Inodes The inode contains a fe

2、w block numbers to ensure efficient access to small files.Access to larger files is provided via indirect blocks that contain block numbersBlock Access-InodesInodes vs.Objects ANSI T10 OSD SCSI Targets SCSI Standards Architecture Object AutonomyStorage becomes autonomous:capacity planningload balanc

3、ingbackupQoS,SLAsunderstand data/object groupingaggressive pre-fetchingthin provisioningsearchcompression/de-duplication/encryptionstrong securitycompliance/retention/secure deleteavailability/replicationaudit .Data SharingHomogeneous/HeterogeneousData SharingHomogeneous/HeterogeneousData Migration-

4、ILMHomogeneous/HeterogeneousAdditional Layer of Security strong security via external service authentication authorization NIS,LDAP.fine granularity per object Living in a Flat NamespaceVirtual View/Virtual File SystemsThe First Generation of Object StorageObject Decomposition对象存储系统结构对象存储系统结构对象存储系统组

5、成对象存储系统组成u对象对象（Object）包含了文件数据以及相关的属性信息，可以进行自我管理 uOSD（Object-based Storage Device）一个智能设备，是Object的集合 u文件系统文件系统文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上 u元数据服务器元数据服务器（Metadata Server，MDS）系统提供元数据、Cache一致性等服务 u网络连接网络连接1.对象对象（Object）对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个

6、存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。对象分类对象分类2、OSD（Object-based Storage Device）每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能数据存储和安全访问数据存储和安全访问 对象放置管理：OSDOSD使用使用ObjectObject对所保存的数据进行管理。它对所保存的数据进行管

7、理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成成ObjectObject，并且通过此，并且通过此ObjectObject向外界提供对数据的访问。向外界提供对数据的访问。对象操作对象操作：每个每个ObjectObject同传统的文件相似，使用同文件类似的同传统的文件相似，使用同文件类似的访问接口，包括访问接口，包括OpenOpen、ReadRead、WriteWrite等。但是两者并不相同，每个等。但是两者并不相同，每个ObjectObject可能包括若干个文件，也可能是某个文件的一部分，且是可能包括若干个文件，也可能是某

8、个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，独立于操作系统的。除了具体的用户数据外，OSDOSD还记录了每个还记录了每个ObjectObject的属性信息，主要是物理视图信息。将这些信息放到的属性信息，主要是物理视图信息。将这些信息放到OSDOSD上，上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。问性能和可扩展性。3、客户端文件系统 文件系统对用户的文件操作进行解释，并文件系统对用户的文件操作进行解释，并在元数据服务器和在元数据服务器和OSD间通信，完成所请间通信，完成所请求的操作。求的操作

9、。现有的应用对数据的访问大部分都是通过现有的应用对数据的访问大部分都是通过POSIXPOSIX文文件方式进行的，对象存储系统提供给用户的也是标准件方式进行的，对象存储系统提供给用户的也是标准的的POSIXPOSIX文件访问接口。文件访问接口。接口具有和通用文件系统相同的访问方式，同时为接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的了提高性能，也具有对数据的CacheCache功能和文件的条带功能和文件的条带功能。功能。同时，文件系统必须维护不同客户端上同时，文件系统必须维护不同客户端上CacheCache的一的一致性，保证文件系统的数据一致致性，保证文件系统的数据一致

10、文件系统读访问实例：文件系统读访问实例：1）客户端应用发出读请求客户端应用发出读请求;2）文件系统向元数据服务器发送请求，获取要读取文件系统向元数据服务器发送请求，获取要读取的数据所在的的数据所在的OSD;3）然后直接向每个然后直接向每个OSD发送数据读取请求；发送数据读取请求；4）OSD得到请求以后，判断要读取的得到请求以后，判断要读取的Object，并，并根据此根据此Object要求的认证方式，对客户端进行认要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将证，如果此客户端得到授权，则将Object的数据的数据返回给客户端；返回给客户端；5）文件系统收到文件系统收到OSD返回的数

11、据以后，读操作完返回的数据以后，读操作完成。成。4.元数据服务器元数据服务器（Metadata Server）为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。4.元数据服务器元数据服务器（Metadata Server）u在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。u在对象存储系统中，由于每次操作只有一在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减和客户端通过直接连接进行，大大减少了元数据的操作，降低了元

12、数据服务器少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。的负担，从而为系统的扩展提供了可能性。4.元数据服务器元数据服务器（Metadata Server）u特点特点客户端采用客户端采用Cache来缓存数据来缓存数据 当多个客户端同时访问某些数据时，当多个客户端同时访问某些数据时，MDSMDS提供分布的提供分布的锁机制来确保锁机制来确保CacheCache的一致性。的一致性。为客户端提供认证为客户端提供认证为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。5.网络连接网络连接 网络连接是对象存储系统的重要组成部网络

13、连接是对象存储系统的重要组成部分。它将客户端、分。它将客户端、MDS和和OSD连接起来，连接起来，构成了一个完整的系统构成了一个完整的系统。对象存储与传统存储的对比对象存储与传统存储的对比存储接口存储接口存储系统存储系统优点优点缺点缺点块块级级存存储储块块块存储设备块存储设备如如:SAN,:SAN,提供高性提供高性能的随机能的随机I/OI/O和数据和数据吞吐率吞吐率可扩展性和可管理性较可扩展性和可管理性较差、价格较高、不能满差、价格较高、不能满足成千上万足成千上万CPU CPU 规模的规模的系统系统文文件件储储存存文件文件块存储设备块存储设备文件系统文件系统如如:NAS,:NAS,扩展性好、扩展性好、易于管理、价格便宜易于管理、价格便宜开销高、带宽低、延迟开销高、带宽低、延迟大大,不利于高性能集群中不利于高性能集群中应用应用对对象象存存储储对象对象块存储设备块存储设备文件系统文件系统定位逻辑定位逻辑应用程序应用程序支持高并行性、可伸支持高并行性、可伸缩的数据访问缩的数据访问,管理管理性好、安全性高、适性好、安全性高、适合高性能集群使用合高性能集群使用处于发展阶段处于发展阶段,相应的硬相应的硬件、软件支持有待进一件、软件支持有待进一步完善步完善对象存储的特性（总结）对象存储的特性（总结）u性能优势性能优势 u存储设备的智能化存储设备的智能化 u数