RAID.docx

上传人:b****6 文档编号:8834772 上传时间:2023-02-02 格式:DOCX 页数:14 大小:135.24KB
下载 相关 举报
RAID.docx_第1页
第1页 / 共14页
RAID.docx_第2页
第2页 / 共14页
RAID.docx_第3页
第3页 / 共14页
RAID.docx_第4页
第4页 / 共14页
RAID.docx_第5页
第5页 / 共14页
点击查看更多>>
下载资源
资源描述

RAID.docx

《RAID.docx》由会员分享,可在线阅读,更多相关《RAID.docx(14页珍藏版)》请在冰豆网上搜索。

RAID.docx

RAID

RAID

RAID是“RedundantArrayofIndependentDisk”的缩写,中文意思是独立冗余磁盘阵列。

冗余磁盘阵列技术诞生于1987年,由美国加州大学伯克利分校提出。

简单地解释,就是将N台硬盘通过RAIDController(分Hardware,Software)结合成虚拟单台大容量的硬盘使用。

RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。

另外,raid还有杀虫剂品牌,法国特警队伍名,游戏专有名词等义项。

简介

  RAID磁盘阵列(RedundantArrayofIndependentDisks)

  其特色是N台硬盘同时读取速度加快及提供容错性FaultTolerant,所以RAID是当成平时主要访问数据的存储速度问题(Storage)不是备份问题(BackupSolution)。

  在RAID有一基本概念称为EDAP(ExtendedDataAvailabilityandProtection),其强调扩充性及容错机制,也是各家厂商如:

Mylex,IBM,HP,Compaq,Adaptec,Infortrend等诉求的重点,包括在不须停机情况下可处理以下动作:

  RAID磁盘阵列支援自动检测故障硬盘;

  RAID磁盘阵列支援重建硬盘坏轨的资料;

  RAID磁盘阵列支援支持不须停机的硬盘备援HotSpare;

  RAID磁盘阵列支援支持不须停机的硬盘替换HotSwap;

  RAID磁盘阵列支援扩充硬盘容量等。

功能

  1、扩大了存储能力可由多个硬盘组成容量巨大的存储空间。

  2、降低了单位容量的成本市场上最大容量的硬盘每兆容量的价格要大大高于普及型硬盘,因此采用多个普及型硬盘组成的阵列其单位价格要低得多。

  3、提高了存储速度单个硬盘速度的提高均受到各个时期的技术条件限制,要更进一步往往是很困难的,而使用RAID,则可以让多个硬盘同时分摊数据的读或写操作,因此整体速度有成倍地提高。

  4、可靠性RAID系统可以使用两组硬盘同步完成镜像存储,这种安全措施对于网络服务器来说是最重要不过的了。

  5、容错性RAID控制器的一个关键功能就是容错处理。

容错阵列中如有单块硬盘出错,不会影响到整体的继续使用,高级RAID控制器还具有拯救功能。

  6、对于IDERAID来说,目前还有一个功能就是支持ATA/66/100。

RAID也分为SCSIRAID和IDERAID两类,当然IDERAID要廉价得多。

如果主机主板不支持ATA/66/100硬盘,通过RAID卡,则能够使用上新硬盘的ATA/66/100功能。

优点

  RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。

  RAID通过同时使用多个磁盘,提高了传输速率。

RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Throughput)。

在RAID中,可以让很多磁盘驱动器同时传输数据,而这些磁盘驱动器在逻辑上又是一个磁盘驱动器,所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。

这也是RAID最初想要解决的问题。

因为当时CPU的速度增长很快,而磁盘驱动器的数据传输速率无法大幅提高,所以需要有一种方案解决二者之间的矛盾。

RAID最后成功了。

  通过数据校验,RAID可以提供容错功能。

这是使用RAID的第二个原因,因为普通磁盘驱动器无法提供容错功能,如果不包括写在磁盘上的CRC(循环冗余校验)码的话。

RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的,所以它提供更高的安全性。

在很多RAID模式中都有较为完备的相互校验/恢复的措施,甚至是直接相互的镜像备份,从而大大提高了RAID系统的容错度,提高了系统的稳定冗余性。

种类及应用

  基于不同的架构,RAID的种类又可以分为:

软件RAID(软件RAID),硬件RAID(硬件RAID),外置RAID(ExternalRAID)

  软件RAID很多情况下已经包含在系统之中,并成为其中一个功能,如Windows、Netware及Linux。

软件RAID中的所有操作皆由中央处理器负责,所以系统资源的利用率会很高,从而使系统性能降低。

软件RAID是不需要另外添加任何硬件设备,因为它是靠你的系统—主要是中央处理器的功能—提供所有现成的资源。

硬件RAID通常是一张PCI卡,你会看到在这卡上会有处理器及内存。

因为这卡上的处理器已经可以提供一切RAID所需要的资源,所以不会占用系统资源,从而令系统的表现可以大大提升。

  硬件RAID的应用之一是可以连接内置硬盘、热插拔背板或外置存储设备。

无论连接何种硬盘,控制权都是在RAID卡上,亦即是由系统所操控。

在系统里,硬件RAIDPCI卡通常都需要安驱动程序,否则系统会拒绝支持。

磁盘阵列可以在安装系统之前或之后产生,系统会视之为一个(大型)硬盘,而它具有容错及冗余的功能。

磁盘阵列不单只可以加入一个现成的系统,它更可以支持容量扩展,方法也很简单,只需要加入一个新的硬盘并执行一些简单的指令,系统便可以实时利用这新加的容量。

  外置式RAID也是属于硬件RAID的一种,区别在于RAID卡不会安装在系统里,而是安装在外置的存储设备内。

而这个外置的储存设备则会连接到系统的SCSI卡上。

系统没有任何的RAID功能,因为它只有一张SCSI卡;所有的RAID功能将会移到这个外置存储里。

好处是外置的存储往往可以连接更多的硬盘,不会受系统机箱的大小所影响。

而一些高级的技术,如双机容错,是需要多个服务器外连到一个外置储存上,以提供容错能力.外置式RAID的应用之一是可以安装任何的操作系统,因此是与操作系统无关的。

为什么呢?

因为在系统里只存在一张SCSI卡,并不是RAID卡。

而对于这个系统及这张SCSI卡来说,这个外置式的RAID只是一个大型硬盘,并不是什么特别的设备,所以这个外置式的RAID可以安装任何的操作系统。

唯一的要求就是你用的这张SCSI卡在这个操作系统要安装驱动程序。

技术术语解释

  硬盘镜像(DiskMirroring):

硬盘镜像最简单的形式是,一个主机控制器带二个互为镜像的硬盘。

数据同时写入二个硬盘,二个硬盘上的数据完全相同,因此一个硬盘故障时,另一个硬盘可提供数据。

  硬盘数据跨盘(DiskSpanning):

利用这种技术,几个硬盘看上去像是一个大硬盘;这个虚拟盘可以把数据跨盘存储在不同的物理盘上,用户不需关心哪个盘上存有他需要的数据。

  硬盘数据分段(DiskStriping):

数据分散存储在几个盘上。

数据的第一段放在盘0,第2段放在盘1,……直至达到硬盘链中的最后一个盘,然后下一个逻辑段将放在硬盘0,再下一个逻辑段放在盘1,如此循环直至完成写操作。

  双控(Duplexing):

这里指的是用二个控制器来驱动一个硬盘子系统。

一个控制器发生故障,另一个控制器马上控制硬盘操作。

此外,如果编写恰当的控制器软件,可实现不同的硬盘驱动器同时工作。

  容错(FaultTolerant):

具有容错功能的机器有抗故障的能力。

例如RAID1镜像系统是容错的,镜像盘中的一个出故障,硬盘子系统仍能正常工作。

  主机控制器(HostAdapter):

这里指的是使主机和外设进行数据交换的控制部件(如SCSI控制器)。

  热修复(HotFix):

指用一个硬盘热备份来替换发生故障的硬盘。

要注意故障盘并不是真正地被物理替换了。

用作热备份的盘被加载上故障盘原来的数据,然后系统恢复工作。

  热补(HotPatch):

具有硬盘热备份,可随时替换故障盘的系统。

  热备份(HotSpare):

与CPU系统带电连接的硬盘,它能替换下系统中的故障盘。

与冷备份的区别是,冷备份盘平时与机器不相连接,硬盘故障时才换下故障盘。

  平均数据丢失时间(MTBDL-MeanTimeBetweenDataLoss):

发生数据丢失的事件间的平均时间。

  平均无故障工作时间(MTBF-MeanTimeBetweenFailure或MTIF):

设备平均无故障运行时间。

  廉价冗余磁盘阵列(RAID-RedundantArrayofInexpensiveDrives):

一种将多个廉价硬盘组合成快速,有容错功能的硬盘子系统的技术。

  系统重建(ReconstructionorRebuild):

一个硬盘发生故障后,从其它正确的硬盘数据和奇偶信息恢复故障盘数据的过程。

  恢复时间(ReconstructionTime):

为故障盘重建数据所需要的时间。

  单个大容量硬盘(SLED-SingeExpensiveDrive)。

  传输速率(TransferRate):

指在不同条件下存取数据的速度。

  虚拟盘(VirtualDisk):

与虚拟存储器类似,虚拟盘是一个概念盘,用户不必关心他的数据写在哪个物理盘上。

虚拟盘一般跨越几个物理盘,但用户看到的只是一个盘。

技术规范

  

(1)RAID技术规范简介

  冗余磁盘阵列技术最初的研制目的是为了组合小的廉价磁盘来代替大的昂贵磁盘,以降低大批量数据存储的费用,同时也希望采用冗余信息的方式,使得磁盘失效时不会使对数据的访问受损失,从而开发出一定水平的数据保护技术,并且能适当的提升数据传输速度。

  过去RAID一直是高档服务器才有缘享用,一直作为高档SCSI硬盘配套技术作应用。

近来随着技术的发展和产品成本的不断下降,IDE硬盘性能有了很大提升,加之RAID芯片的普及,使得RAID也逐渐在个人电脑上得到应用。

  那么为何叫做冗余磁盘阵列呢?

冗余的汉语意思即多余,重复。

而磁盘阵列说明不仅仅是一个磁盘,而是一组磁盘。

这时你应该明白了,它是利用重复的磁盘来处理数据,使得数据的稳定性得到提高。

  

(2)RAID的工作原理

  RAID如何实现数据存储的高稳定性呢?

我们不妨来看一下它的工作原理。

RAID按照实现原理的不同分为不同的级别,不同的级别之间工作模式是有区别的。

整个的RAID结构是一些磁盘结构,通过对磁盘进行组合达到提高效率,减少错误的目的,不要因为这么多名词而被吓坏了,它们的原理实际上十分简单。

为了便于说明,下面示意图中的每个方块代表一个磁盘,竖的叫块或磁盘阵列,横称之为带区。

  (3)RAID规范

  主要包含RAID0~RAID7等数个规范,它们的侧重点各不相同,常见的规范有如下几种:

  RAID0:

无差错控制的带区组

  要实现RAID0必须要有两个以上硬盘驱动器,RAID0实现了带区组,数据并不是保存在一个硬盘上,而是分成数据块保存在不同驱动器上。

因为将数据分布在不同驱动器上,所以数据吞吐率大大提高,驱动器的负载也比较平衡。

如果刚好所需要的数据在不同的驱动器上效率最好。

它不需要计算校验码,实现容易。

它的缺点是它没有数据差错控制,如果一个驱动器中的数据发生错误,即使其它盘上的数据正确也无济于事了。

不应该将它用于对数据稳定性要求高的场合。

如果用户进行图象(包括动画)编辑和其它要求传输比较大的场合使用RAID0比较合适。

同时,RAID可以提高数据传输速率,比如所需读取的文件分布在两个硬盘上,这两个硬盘可以同时读取。

那么原来读取同样文件的时间被缩短为1/2。

在所有的级别中,RAID0的速度是最快的。

但是RAID0没有冗余功能的,如果一个磁盘(物理)损坏,则所有的数据都无法使用。

  RAID1:

镜象结构

  

raid1

对于使用这种RAID1结构的设备来说,RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。

通过下面的结构图您也可以看到必须有两个驱动器。

因为是镜象结构在一组盘出现问题时,可以使用镜象,提高系统的容错能力。

它比较容易设计和实现。

每读一次盘只能读出一块数据,也就是说数据块传送速率与单独的盘的读取速率相同。

因为RAID1的校验十分完备,因此对系统的处理能力有很大的影响,通常的RAID功能由软件实现,而这样的实现方法在服务器负载比较重的时候会大大影响服务器效率。

当您的系统需要极高的可靠性时,如进行数据统计,那么使用RAID1比较合适。

而且RAID1技术支持“热替换”,即不断电的情况下对故障磁盘进行更换,更换完毕只要从镜像盘上恢复数据即可。

当主硬盘损坏时,镜像硬盘就可以代替主硬盘工作。

镜像硬盘相当于一个备份盘,可想而知,这种硬盘模式的安全性是非常高的,RAID1的数据安全性在所有的RAID级别上来说是最好的。

但是其磁盘的利用率却只有50%,是所有RAID级别中最低的。

  RAID2:

带海明码校验

  从概念上讲,RAID2同RAID3类似,两者都是将数据条块化分布于不同的硬盘上,条块单位为位或字节。

然而RAID2使用一定的编码技术来提供错误检查及恢复。

这种编码技术需要多个磁盘存放检查及恢复信息,使得RAID2技术实施更复杂。

因此,在商业环境中很少使用。

下图左边的各个磁盘上是数据的各个位,由一个数据不同的位运算得到的海明校验码可以保存另一组磁盘上,具体情况请见下图。

由于海明码的特点,它可以在数据发生错误的情况下将错误校正,以保证输出的正确。

它的数据传送速率相当高,如果希望达到比较理想的速度,那最好提高保存校验码ECC码的硬盘,对于控制器的设计来说,它又比RAID3,4或5要简单。

没有免费的午餐,这里也一样,要利用海明码,必须要付出数据冗余的代价。

输出数据的速率与驱动器组中速度最慢的相等。

  RAID3:

带奇偶校验码的并行传送

  

raid3

这种校验码与RAID2不同,只能查错不能纠错。

它访问数据时一次处理一个带区,这样可以提高读取和写入速度,它像RAID0一样以并行的方式来存放数据,但速度没有RAID0快。

校验码在写入数据时产生并保存在另一个磁盘上。

需要实现时用户必须要有三个以上的驱动器,写入速率与读出速率都很高,因为校验位比较少,因此计算时间相对而言比较少。

用软件实现RAID控制将是十分困难的,控制器的实现也不是很容易。

它主要用于图形(包括动画)等要求吞吐率比较高的场合。

不同于RAID2,RAID3使用单块磁盘存放奇偶校验信息。

如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据。

如果奇偶盘失效,则不影响数据使用。

RAID3对于大量的连续数据可提供很好的传输率,但对于随机数据,奇偶盘会成为写操作的瓶颈。

利用单独的校验盘来保护数据虽然没有镜像的安全性高,但是硬盘利用率得到了很大的提高,为n-1。

  

raid4

RAID4:

带奇偶校验码的独立磁盘结构

RAID4和RAID3很象,不同的是,它对数据的访问是按数据块进行的,也就是按磁盘进行的,每次是一个盘。

在图上可以这么看,RAID3是一次一横条,而RAID4一次一竖条。

它的特点的RAID3也挺象,不过在失败恢复时,它的难度可要比RAID3大得多了,控制器的设计难度也要大许多,而且访问数据的效率不怎么好。

 

RAID5:

分布式奇偶校验的独立磁盘结构

 

从它的示意图上可以看到,它的奇偶校验码存在于所有磁盘上,其中的p0代表第0带区的奇偶校验值,其它的意思也相同。

RAID5的读出效率很高,写入效率一般,块式的集体访问效率不错。

因为奇偶校验码在不同的磁盘上,所以提高了可靠性,允许单个磁盘出错。

RAID5也是以数据的校验位来保证数据的安全,但它不是以单独硬盘来存放数据的校验位,而是将数据段的校验位交互存放于各个硬盘上。

这样,任何一个硬盘损坏,都可以根据其它硬盘上的校验位来重建损坏的数据。

硬盘的利用率为n-1。

但是它对数据传输的并行性解决不好,而且控制器的设计也相当困难。

RAID3与RAID5相比,重要的区别在于RAID3每进行一次数据传输,需涉及到所有的阵列盘。

而对于RAID5来说,大部分数据传输只对一块磁盘操作,可进行并行操作。

在RAID5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。

RAID-5的话,优点是提供了冗余性(支持一块盘掉线后仍然正常运行),磁盘空间利用率较高(N-1/N),读写速度较快(N-1倍)。

但当掉盘之后,运行效率大幅下降。

  RAID5校验位算法详解

  P=D1xorD2xorD3…xorDn(D1,D2,D3…Dn为数据块,P为校验,xor为异或运算)

  XOR(ExclusiveOR)的校验原理如下表:

  

A值

B值

Xor结果

0

0

0

1

0

1

0

1

1

1

1

0

  

  这里的A与B值就代表了两个位,从中可以发现,A与B一样时,XOR结果为0,A与B不一样时,XOR结果就是1,如果知道XOR结果,A和B中的任何两个数值,就可以反推出剩下的一个数值。

比如A为1,XOR结果为1,那么B肯定为0,如果XOR结果为0,那么B肯定为1。

这就是XOR编码与校验的基本原理。

  RAID5性能和校验信息算法

  从RAID5示意图上可以看到,它的奇偶校验码存在于所有磁盘上,其中的p0代表第0带区的奇偶校验值,其它的意思也相同。

RAID5的读出效率很高,写入效率一般,块式的集体访问效率不错。

因为奇偶校验码在不同的磁盘上,所以提高了可靠性。

但是它对数据传输的并行性解决不好,而且控制器的设计也相当困难。

RAID3与RAID5相比,重要的区别在于RAID3每进行一次数据传输,需涉及到所有的阵列盘。

而对于RAID5来说,大部分数据传输只对一块磁盘操作,可进行并行操作。

在RAID5中有“写损失”,即每一次写操作,将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。

RAID5最大的好处是在一块盘掉线的情况下,RAID照常工作,相对于RAID0必须每一块盘都正常才可以正常工作的状况容错性能好多了。

因此RAID5是RAID级别中最常见的一个类型。

RAID5校验位即P位是通过其它条带数据做异或(xor)求得的。

计算公式为P=D0xorD1xorD2…xorDn,其中p代表校验块,Dn代表相应的数据块,xor是数学运算符号异或。

 

 

 RAID6:

带有两种分布存储的奇偶校验码的独立磁盘结构

名字很长,但是如果看到图,大家立刻会明白是为什么,请注意p0代表第0带区的奇偶校验值,而pA代表数据块A的奇偶校验值。

它是对RAID5的扩展,主要是用于要求数据绝对不能出错的场合。

当然了,由于引入了第二种奇偶校验值,所以需要N+2个磁盘,同时对控制器的设计变得十分复杂,写入速度也不好,用于计算奇偶校验值和验证数据正确性所花费的时间比较多,造成了不必须的负载。

我想除了军队没有人用得起这种东西。

  RAID7:

优化的高速数据传送磁盘结构

  RAID7所有的I/O传送均是同步进行的,可以分别控制,这样提高了系统的并行性,提高系统访问数据的速度;每个磁盘都带有高速缓冲存储器,实时操作系统可以使用任何实时操作芯片,达到不同实时系统的需要。

允许使用SNMP协议进行管理和监视,可以对校验区指定独立的传送信道以提高效率。

可以连接多台主机,因为加入高速缓冲存储器,当多用户访问系统时,访问时间几乎接近于0。

由于采用并行结构,因此数据访问效率大大提高。

需要注意的是它引入了一个高速缓冲存储器,这有利有弊,因为一旦系统断电,在高速缓冲存储器内的数据就会全部丢失,因此需要和UPS一起工作。

当然了,这么快的东西,价格也非常昂贵。

  RAID10:

高可靠性与高效磁盘结构

  这种结构无非是一个带区结构加一个镜象结构,因为两种结构各有优缺点,因此可以相互补充,达到既高效又高速还可以的目的。

大家可以结合两种结构的优点和缺点来理解这种新结构。

这种新结构的价格高,可扩充性不好。

主要用于容量不大,但要求速度和差错控制的数据库中。

  RAID50:

被称为分布奇偶位阵列条带。

  同RAID30相仿的,它具有RAID5和RAID0的共同特性。

它由两组RAID5磁盘组成(每组最少3个),每一组都使用了分布式奇偶位,而两组硬盘再组建成RAID0,实验跨磁盘抽取数据。

RAID50提供可靠的数据存储和优秀的整体性能,并支持更大的卷尺寸。

即使两个物理磁盘发生故障(每个阵列中一个),数据也可以顺利恢复过来。

  RAID50最少需要6个驱动器,它最适合需要高可靠性存储、高读取速度、高数据传输性能的应用。

这些应用包括事务处理和有许多用户存取小文件的办公应用程序。

  RAID53:

称为高效数据传送磁盘结构。

  结构的实施同Level0数据条阵列,其中,每一段都是一个RAID3阵列。

它的冗余与容错能力同RAID3。

这对需要具有高数据传输率的RAID3配置的系统有益,但是它价格昂贵、效率偏低。

  RAID1.5:

是一个新生的磁盘阵列方式,它具有RAID0+1的特性,而不同的是,它的实现只需要2个硬盘。

  从表面上来看,组建RAID1.5后的磁盘,两个都具有相同的数据。

当然,RAID1.5也是一种不能完全利用磁盘空间的磁盘阵列模式,因此,两个80GB的硬盘在组建RAID1.5后,和RAID1是一样的,即只有80GB的实际使用空间,另外80GB是它的备份数据。

如果把两个硬盘分开,分别把他们运行在原系统,也是畅通无阻的。

但通过实际应用,我们发现如果两个硬盘在分开运行后,其数据的轻微改变都会引起再次重组后的磁盘阵列,没法实现完全的数据恢复,而是以数据较少的磁盘为准。

  (3)JBOD模式

  JBOD通常又称为Span。

它是在逻辑上将几个物理磁盘一个接一个连起来,组成一个大的逻辑磁盘。

JBOD不提供容错,该阵列的容量等于组成Span的所有磁盘的容量的总和。

JBOD严格意义上说,不属于RAID的范围。

不过现在很多IDERAID控制芯片都带着种模式,JBOD就是简单的硬盘容量叠加,但系统处理时并没有采用并行的方式,写入数据的时候就是先写的一块硬盘,写满了再写第二块硬盘……

  实际应用中最常见的是RAID0RAID1RAID5和RAID10由于在大多数场合,RAID5包含了RAID2-4的优点,所以RAID2-4基本退出市场

  现在,一般认为RAID2-4只用于RAID开发研究

  (4)我们能够用得上的IDERAID

  上面是对RAID原理的叙述,而我们Pcfans最关心的是RAID的应用。

我们日常使用IDE硬盘,而且很容易买到IDERAID卡和集成RAID芯片的主板。

所以跟我们最贴近的是IDERAID。

限于应用级别很低,IDERAID多数只支持RAID0,RAID1,RAID0+1,JBOD模式。

  RAID的应用

  开始时RAID方案主要针对SCSI硬盘系统,系统成本比较昂贵。

1993年,HighPoint公司推出了第一款IDE-RAID控制芯片,能够利用相对廉价的IDE硬盘来组建RAID系统,从而大大降低了RAID的“门槛”。

从此,个人用户也开始关注这项技术,因为硬盘是现代个人计算机中发展最为“缓慢”和最缺少安全性的设备,而用户存储在其中的数据却常常远超计算机的本身价格。

在花费相对较少的情况下,RAID技术可以使个人用户也享受到成倍的磁盘速度提升和更高的数据安全性,现在个人电脑市场上的IDE-RAID控制芯片主要出自HighPoint和Promise公司,此外还有一部分来自AMI公司(如表2)。

  面向个人用户的IDE-RAID芯片一般只提供了RAID0、RAID1和RAID0+1(RAID10)等RA

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 党团工作 > 其它

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1