dell xc 超融合方案建议书 206.docx

上传人:b****5 文档编号:5569479 上传时间:2022-12-27 格式:DOCX 页数:27 大小:89.61KB
下载 相关 举报
dell xc 超融合方案建议书 206.docx_第1页
第1页 / 共27页
dell xc 超融合方案建议书 206.docx_第2页
第2页 / 共27页
dell xc 超融合方案建议书 206.docx_第3页
第3页 / 共27页
dell xc 超融合方案建议书 206.docx_第4页
第4页 / 共27页
dell xc 超融合方案建议书 206.docx_第5页
第5页 / 共27页
点击查看更多>>
下载资源
资源描述

dell xc 超融合方案建议书 206.docx

《dell xc 超融合方案建议书 206.docx》由会员分享,可在线阅读,更多相关《dell xc 超融合方案建议书 206.docx(27页珍藏版)》请在冰豆网上搜索。

dell xc 超融合方案建议书 206.docx

dellxc超融合方案建议书206

DellXC超融合方案建议书

1项目背景3

1.1需求调研3

1.1.1客户现有环境调研3

1.1.2客户应用规划分析3

1.2DellXC超融合方案与传统架构的差别4

1.3DellXC超融合与传统架构选择5

2超融合方案设计6

2.1设计原则6

2.2架构设计7

2.3方案描述8

2.3.1计算资源8

2.3.2存储资源10

2.3.3网络要求11

2.3.4备份容灾12

2.4方案优势13

2.4.1横向扩展优势15

2.4.2性能优势16

2.4.3可靠性17

2.4.4易于部署18

2.4.5集中管理18

2.4.6自动故障恢复19

3配置清单20

4XC招标配置参数参考20

4.1DellXC硬件招标参数20

4.2XC630招标参数设定-8节点参考24

5DellXC全球及国内成功案例25

1项目背景

为了满足未来业务发展的需要,有效地解决数据安全、集中管控、快速部署、跨平台访问、节能环保等问题,XXXX用户已经开始关注通过虚拟化、分布式及超融合等互联网相关技术来解决现有数据中心的各种挑战,随着虚拟化及云计算的日益成熟,计划将其数据中心新业务系统运行在的基于互联网基因的超融合基础架构平台上。

需求调研

1.1.1客户现有环境调研

XXXX现有数据中心存在的挑战包括:

?

服务器数量众多,管理变得越来越复杂;

?

新业务系统上线周期长,部署慢;

?

SAN/NAS存储扩展性差,无法支撑新业务的性能需求;

?

新业务走向互联网化,传统架构无法实现线性扩展能力;

?

应用系统缺乏高可用性保护;

?

数据中心空间资源有限等。

1.1.2客户应用规划分析

DellXC超融合解决方案将融合基础设施、横向扩展架构和软件定义存储的各种优势结合在一起,可提供极佳的数据中心虚拟化体验,而其成本仅为传统服务器和存储器的一小部分。

每一台XC服务器均包含CPU、内存、网络、SSD或闪存、以及HDD存储功能。

XC存储控制器是一台虚拟机,运行于每台服务器上,可将本地存储转换成为共享存储。

DellXC完整集群中的所有可用存储均作为单一的文件系统提供,称为XC分布式文件系统。

尽管没有专门的SAN或NAS,DellXC仍然能够无缝提供高可用性、DRS和容错等企业虚拟化功能。

为了将性能最大化,XC存储控制器将特定虚拟机的所有数据保存在同一服务器上,从而将时延最小化,而将SSD闪存的优势最大化。

DellXC超融合方案与传统架构的差别

企业构建虚拟化基础架构时,通常采用的方式是使用服务器通过存储网络连接存储,这样的传统架构无法满足虚拟化环境不断变化的需求。

低效的网络存储成为最大的成本开销,并且它使得虚拟化架构更为复杂。

对于相对静态的工作负载而言,基于网络的存储架构能够很好的满足需求。

对于虚拟化环境而言,尤其是当融合前云计算正在日益普及,使得整个数据中心越来越动态,虚拟机的创建和迁移依赖于大量的共享资源。

这些特征使得管理虚拟机及其底层的基础架构变得越来越复杂。

由于创建虚拟机变得越来越容易,导致数据中心内部数据量快速增长。

在企业内部,使用虚拟桌面替代原来的工作桌面越来越成为趋势。

服务供应商需要帮助客户解决他们无力承担的虚拟化项目所带来的成本和管理上的额外开销。

在传统的集中存储的架构上,虚拟机的蔓延带来了越来越多的成本、性能和管理压力。

DellXC超融合与传统架构选择

超融合基础架构(Hyper-ConvergedInfrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。

HCI是实现“软件定义数据中心”的终极技术途径。

HCI类似Google、Facebook等互联网数据中心的大规模基础架构模式,可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。

使用计算存储超融合的一体化平台,替代了传统的服务器加集中存储的架构,使得整个架构更清晰简单。

下表列举了使用超融合架构(计算+存储)和传统数据中心三层架构(服务器+光纤交换机+存储)的对比:

超融合架构

传统数据中心基础架构

性能

尽可能提供本地吞吐,并使用SSD保证应用IO需求。

不存在性能瓶颈

随着访问集中存储的服务器越来越多,性能瓶颈将日益凸显

横向扩展

可以简单的在集群中增加节点以扩展集群规模和性能

由于架构限制,无法实现横向扩展

高可用性

可以通过三副本的方式容忍最多两个节点同时故障,并且硬件故障时数据重建速度快,性能几乎不受影响

通过raid技术实现高可用性,但面对硬件故障时,性能下降严重。

整合比

虚拟机密度高,是传统2倍以上

虚拟机密度低

安装配置

开箱即用的部署方式,只需30分钟即可完成安装配置

需要准备大量安装实施前的信息收集和整理工作,并且由专人进行安装部署,最少需要2天时间

管理维护

统一WEB界面管理,维护方便

无需配置LUN、卷、Raid组

需要专门存储管理软件,配置复杂。

需要厂商支持。

2超融合方案设计

新一代数据中心建设包含众多信息化应用的实施,与此相对应,机房服务器和存储设备也必将大量使用,并且随着后期应用扩充和服务扩容,服务器和存储设备的投入必然越来越庞大。

一方面,管理硬件基础设施的压力和成本会不断增大;另一方面,由于应用的多样性,服务器和存储难于有效整合,服务器的资源使用都远低于其实际的处理能力,计算能力和存储容量难以充分利用。

实施虚拟化/云计算数据中心,可以有效整合服务器及存储资源,形成计算资源池,根据新一代数据中心各项应用的实际需要动态分配计算资源,最大效率的利用现有服务器及存储设备,并对数据中心硬件设备进行有效管理和监控。

设计原则

在方案设计中我们将遵循以下总体原则:

以业务需求为导向

技术架构最终是为业务服务的,因此技术架构的设计一定要以业务的需求为导向,充分考虑非功能需求,例如系统的重要程度、安全要求、业务连续性等。

遵循互联网标准

新业务系统都是面向互联网和物联网业务,因此架构体系要遵循互联网数据中心设计和建设标准,吸收互联网架构的优势。

提高资源利用率

现已经部署了大量的服务器,资源使用率低是较突出的一个问题,因此在项目中,提高资源利用率成为一个重要的任务。

动态扩展性

在IT发展趋势中,动态基础架构已经成为IT基础架构的发展方向。

使IT基础架构成为一个动态、灵活、具有弹性的IT基础架构,同时在IT实时地运营过程可进行灵活的资源动态调整。

资源扩展要体现在计算资源和存储资源的同时扩展。

分布式一切

应用系统的高可用性是保障服务等级的重要因素,在架构设计中应该以软件定义为主,借助软件的分布式架构满足高可用性要求,实现系统架构和平台架构的无单点故障、无单点瓶颈问题,保障新一代的业务系统健壮性。

安全性

在系统设计中,安全性是一个非常重要的问题。

在架构中需要考虑到虚拟化架构内外部的安全,包括数据安全等问题,以保证整个系统长期安全稳定的运行。

架构设计

超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用,极大地简化了数据中心的基础架构,而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力;在虚拟化层可以自由选择Hypervisor的品牌,包括VMwarevSphere、MicroSoftHyper-v和KVM;而且通过简单、方便的管理界面,实现对数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。

超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配,服务于OpenStack、CloudFoundry、Docker、Hadoop等IAAS、PAAS平台,对上层的互联网及物联网业务等进行支撑。

同时,分布式存储架构简化容灾方式,实现同城数据双活和异地容灾。

现有的超融合基础架构可以延伸到公有云,可以轻松将私有云业务迁到公有云服务。

方案描述

2.1.1计算资源

基于DellXC架构的模块化数据中心由Dell公司超融合一体机做为多节点组成的。

图2.2:

XCBlock(区块)和Node(节点)

XC超融合解决方案的计算资源池是通过Dell久负盛名的PowerEdge服务器虚拟化来实现的,可以支持VMwarevSphere、MicroSoftHyper-v及NutanixAcropolis平台提供的KVM等Hypervisor,如图2.3。

在虚拟化Hypervisor层形成计算资源池,为业务系统的虚拟机提供不同的服务质量和能力,包括了高可用(HighAvailability)、容错(FaultTolerant)、在线迁移(LiveMigration/vMotion)、资源动态负载均衡(DistributedResourceScheduler)等虚拟化的特性。

同时,XC系列可以支持业务虚拟机在不同的Hypervisor之前进行迁移,也就是V2V的能力,例如从vSphere迁移到KVM等。

DellXC超融合架构计算资源池

2.1.2存储资源

XC提供的分布式文件系统(NDFS)可以将一组集群内的节点组成一个统一的分布式存储平台。

NDFS对于XC虚拟化一体机而言就是一个集中的共享式存储,与任何其他集中式存储阵列一样工作,且提供更为简单便捷的存储管理,无需像传统集中存储那样再配置LUN、卷、或者Raid组。

DellXC分布式存储架构不仅同样提供传统存储的能力外,还提供更多的能力。

针对于虚拟化方面提供快照、克隆等机制,数据层实现本地优先访问、存储分层等性能机制,对数据进行压缩和去重提高存储可用容量,借助两份以上冗余数据提供存储的可靠性,增加或减少节点数据分布会自动平台,当节点宕机或磁盘损坏后具备数据自恢复能力等。

XC系列每个节点提供两种磁盘,标准配置为2块以上SSD,可以灵活配置。

4块SATA的HDD为基准配置,可以根据容量需求灵活配置。

DellXC分布式存储系统逻辑架构

XC被设计成为非常动态的平台,可以适用于不同工作负载的应用,并且允许混合节点类型:

例如将计算密集型节点和存储密集型节点混合在一个集群中。

对于集群内部磁盘容量大小不同的,确保数据一致的分布非常重要。

XC有自带的称为磁盘平衡的技术,用来确保数据一致的分布在集群内部各节点上。

另外,XC节点通过ILM实现SSD和HDD的数据热分层。

简单而言,磁盘的热分层时实现在集群内所有节点的SSD和HDD上,并且由ILM负责触发数据在热分层之间的迁移。

本地节点的SSD在热分层中是最高优先级的,负责所有本地虚拟机IO的读写操作。

并且还可以使用集群内所有其他节点的SSD,因为SSD层总是能提供最好的读写性能,并且在混合存储环境中尤为重要。

在超融合的虚拟化环境中,所有IO操作都将由本地XC节点上的ControlerVM(CVM)接管,以提供极高的性能。

据以往经验及用户习惯分析,一般运行服务器虚拟化的虚拟机对IO性能要求在200-300IOPS左右,而单个XC节点可提供25000上的IOPS,4节点集群可提供将近100,000的IOPS。

完全可以满足需求。

2.1.3网络要求

在计算虚拟化资源池中的每台虚拟化Hypervisor节点上会运行多台虚拟机,多台虚拟机之间共享网络,为了方便管理建议采用虚拟交换机来配置和管理网络,虚拟交换机可在数据中心级别提供集中和聚合的虚拟网络,从而简化并增强虚拟机网络。

在虚拟交换机的网络划分上,仍然可以采用VLAN的方式划分不同的子网,实现不同子网段的安全和隔离。

在网络隔离上,也可以采用网络虚拟化VXLAN技术。

VXLAN网络协议,即VLAN协议的扩展版本。

VXLAN网络可以跨越物理边界,从而跨不连续的数据中心和集群来优化计算资源利用率。

VXLAN采用逻辑网络与物理拓扑相互分离,使用IP的技术,所以无需重新配置底层物理网络设备即可扩展VXLAN网络。

正因如此,也就无需再花费大量时间来规划如何调配VLAN及管理VLAN数量剧增问题。

在每个XC物理节点上有多种网络需求,包括管内部通讯网络、管理网络、生产网络等,因此每个XC节点需配置多块网卡,网络设计建议如下:

类型

设计

备注

XC物理节点之间的内部通讯网络

10Gb以太网

双链路冗余

每个节点通过两条万兆链路分别连接两台万兆交换机,保证网络设备和链路的冗余度。

Dell建议用户使用万兆网络互联物理节点,当发生密集的写IO时,万兆网络能保证提供足够带宽满足节点之间的IO同步流量。

客户端与服务器虚拟机之间的通讯网络,虚拟化服务器对外服务网络

1Gb/10Gb以太网,双链路冗余

每个节点通过两条千/万兆链路分别连接两台千/万兆交换机,保证网络设备和链路的冗余度。

用户访问虚拟服务器对外提供服务时,通过千/万兆链路可以实现与后端存储流量隔离。

硬件管理网络

(IPMI)

1Gb以太网

每个节点都有独立的千兆链路,用于连接专门的管理网络,实现管理网络与业务网络、存储网络分离。

可以最大限度保证管理的灵活性和安全性。

2.1.4备份容灾

XC平台自带的存储层面及基于虚拟机粒度的备份恢复功能TimeStream。

用户可以针对每个虚拟机设置不同的备份策略,包括备份计划和备份保留周期,TimeStream会自动通过存储快照方式对虚拟机进行备份。

所有TimeStream的快照均是基于存储层面的,与虚拟化层面(例如VMwarevSphere)的快照不同,存储层面的快照不会影响虚拟机的性能,对于虚拟化软件是完全透明的。

传统的备份方式通过网络传输备份数据,需要特定的备份窗口以免影响业务正常运行。

TimeStream备份可以与传统的备份策略互补,既能保证对于重要的虚拟机进行高频度备份又不会占用额外的网络带宽。

例如:

∙对于普通虚拟机可以使用传统的备份方式每周进行全备,将备份数据保留在外部存储(例如磁带库中);同时使用TimeStream备份进行每天甚至每12小时的备份,数据直接保留在存储上以便快速恢复。

∙对于比较重要的虚拟机可以使用传统备份每周全备、每天增量的方式,将备份数据保留在外部存储(例如磁带库中);同时使用TimeStream备份进行每2小时甚至每小时的备份,数据直接保留在存储上以便快速恢复。

∙可以采用vSphereDataProtectionAdvanced(简称VDPA,只针对vSphere)、Commvault(VMware和Hyper-v)、Weeam(vSphere和Hyper-v)等虚拟化备份解决方案作为有效补充。

XC容灾功能,分为两个级别:

MetroAvailability和RemoteReplication。

都是基于虚拟机快照的方式将更新数据异步复制到远程的XC集群中。

MetroAvailability可以实现同城双数据中心之间的RPO接近于“零”(需要裸光纤支持),即便是标准RemoteReplication也能实现RPO为1小时(基于网络带宽和更新数据量),满足绝大多数异地容灾的业务需求。

XC容灾支持双向、一对多、多对一各种不同的复制模式。

并且可以通过XC自带的管理界面激活容灾中心的虚拟机进行容灾演练。

不再需要额外繁琐的灾难恢复计划,基于鼠标点击即可完成容灾切换。

使用DellXC超融合解决方案可以在项目初始即确定今后的容灾规划,而无需在今后专门立项重复设计整体容灾架构。

依据用户规模和分支机构数量,通过简单灵活的软件配置,将已有分支机构的虚拟化环境远程容灾到总部数据中心,逐步形成星型的容灾架构。

方案优势

使用DellXC虚拟化基础架构,在保证用户数据的高速访问和高可靠性同时,不再需要传统的集中式存储架构,避免在今后运行过程中出现设计初期忽视的性能问题。

按照服务器和存储使用现状,建议使用DellXC来支撑现有应用。

在今后随着业务发展,可以方便的按照节点进行扩容,避免建设初期一次性投资过大,后期却发现性能问题,需要追加投资的问题出现。

DellXC是部署广泛、值得信赖的虚拟化基础架构平台。

DellXC适用于最重要的国防、医疗、教育等领域,可为数据中心虚拟化带来横向扩展架构、高可用性和可靠性等优势。

研究显示,并非所有的企业数据中心项目真正做到了全面部署,很大一部分项目通常因为基础设施的成本不断攀升而束之高阁。

传统服务器和存储阵列扩展成为企业数据中心项目成本高昂、过程复杂并且难于实施的主要因素。

从诸多数据中心项目实施来看,在企业环境中,性能、可靠性、可扩展性是关键,因为最终用户体验直接来自于基础设施的高性能和高可靠性。

DellXC将融合基础设施、横向扩展架构和软件定义存储的各种优势结合在一起,可提供极佳的数据中心虚拟化体验,而其成本仅为传统服务器和存储器的一小部分。

XC完整集群是一种能够横向扩展的计算和存储基础设施,它使各组织机构无需存储网络(SAN或NAS)即可实现数据中心虚拟化。

XC专门为虚拟化而设计,能够提供全面的计算和存储能力,以及企业级的性能、可扩展性、可用性和数据管理功能。

它采用英特尔芯片、固态硬盘等符合行业标准的硬件组件,以及市场领先的高级管理程序,以便提供开箱即用的解决方案,让数据中心虚拟化变得极其简单有效。

1)互联网架构的分布式计算

DellXC架构与Google的架构相类似,是一种可以横向扩展的计算存储融合的基础架构,消除了对于集中式存储对于网络的依赖。

并且在基于Google的架构之上,提供了适合企业环境的解决方案。

GFS是一种特定的解决方案为Google内部的应用所使用(例如Gmail),而DellXC提供的是一种通用的虚拟化环境解决方案。

另外,DellXC有更好的横向扩展能力,提供更好的企业级数据管理特性,通常这些特性需要额外的网络或者存储硬件才能实现,例如,高可用性、备份、快照、灾难恢复等。

2)专为虚拟化设计

DellXC是针对虚拟化环境而设计的,因此可以很好的支持虚拟化环境中基于传统存储架构所实现的功能,包括虚拟机的热迁移和高可用性等。

XC架构是虚拟机感知型的,它克服可传统架构下解决方案的一些弊端,例如,当一个存储设备(LUN)共享所有虚拟机使用时,很难使用在存储上使用基于虚拟机的备份、复制和快照功能,并且当架构越来越复杂时,很难诊断性能瓶颈,而XC这种架构克服了这些限制。

3)存储分层优势

XC架构充分发挥了存储分层的SSD固态硬盘的优势,由于传统存储都是针对机械硬盘而设计的,而传统的机械硬盘与SSD硬盘的数据访问方式完全不同,机械硬盘需要旋转和寻道,而SSD硬盘则完全没有这些限制,因此不能指望针对机械硬盘设计的存储软件能充分发挥SSD硬盘的性能优势。

XC架构使用SSD来保存大量经常访问的数据,从虚拟机的元数据到业务数据都保存在分布式Cache中已提供极高的IO性能,并且保存在持久化的存储中以便于存取。

XC超融合一体机极高的IO吞吐性能是得益于使用SSD磁盘,包括:

•保留SSD用于IO敏感的操作;

•包含空间节省的技术,允许大量的逻辑数据被存储在一个小的物理空间中;

•自动迁移“冷”数据(或者不常访问的数据)到大容量SATA硬盘中,并且允许管理员指定低优先级的虚拟机不使用SSD磁盘。

2.1.5横向扩展优势

XC超融合解决方案给虚拟化环境带来的重要差异化因素之一就是,基础设施在进行扩展时其性能仍然保持不变。

在XC架构中,在每个XC物理节点本地都运行一个虚拟存储控制虚机(CVM)。

CVM负责本地所有其他虚拟机的IO操作。

当集群扩展时,新增加节点的同时也新增了CVM,保证了整个集群性能的横向扩展。

与传统集中存储不同,传统架构下集中存储只有两个存储控制器,在集群扩展时,存储控制器无法进行有效的扩展,从而必然成为整个架构的瓶颈。

参考图2.4说明了DellXC的横向扩展架构的优势。

为了展示这种能力,Dell在国内实施过一个巨型的VDI项目,模拟桌面启动风暴,并且当基础设施从300台桌面扩展到3000台时,其性能从最终用户体验的角度来看保持了一致。

在大多数传统的存储环境中,最佳性能仅出现在第一天,因为应用程序或工作负载越来越多,导致性能随着时间的推移不断下降,直至需要进行叉车式升级,采用全新的存储阵列。

下图说明了从300台桌面扩展到3000台时,应用响应时间保持不变:

相对应用性能

虚拟桌面数量与应用响应时间

图2.8XC不同VDI数量下的相应时间

2.1.6性能优势

DellXC超融合解决方案在数据中心虚拟化环境中的主要优势之一就是性能,而性能优势是通过传统的服务器和存储架构实现的。

在传统的架构中,时延是因为每次访问存储都需要通过网络而造成的。

通过NFS和iSCSI等协议提供存储本身没有问题,但网络会增加时延。

DellXC超融合解决方案可提供NFS协议的优势及其易用性,而通过所谓的“无网络NFS”消除了网络时延。

XC分布式文件系统直接对虚拟机进行检测,然后将特定虚拟机的所有数据存放到本地物理服务器上。

因此,虚拟机不是通过网络、而是通过高速内部总线访问其数据。

并且所有节点标配SSD磁盘,提供极高的IOPS以满足虚拟化环境各种类型应用需求,无论是虚拟桌面还是服务器虚拟化场景。

更为重要的是,每个节点的SSD磁盘并非有每个节点单独使用,而是在整个集群范围内作为一个整体使用。

言下之意,不会由于单个节点本地的SSD耗尽而导致其性能急剧下降。

当出现这种极端情况时,节点会使用集群中其他节点的SSD空间。

因为即使跨网络访问其他节点SSD磁盘也会比访问本地SATA磁盘快很多。

因此极端最差情况时性能也与使用传统集中存储架构时服务器通过网络访问数据的场景相当。

其实不会出现这种极端情况,因为当SSD利用率超过一定阈值后,XC的CVM会自动发现并将最少访问的数据从SSD迁移到SATA上,以保证SSD有足够容量满足突发的IO请求。

这一自动热分层技术对虚拟化主机而言完全透明。

用户无需关心数据保存在哪里,这完全由CVM依据数据访问频度而自动调度。

2.1.7可靠性

XC平台使用复制因子(RF-ReplicationFactor)和校验和(checksum)来保证当节点或者磁盘失效时,数据的冗余度和可用性。

当数据写入SSD时,会被“同步”复制到另1个或者2个XCCVM的SSD之中(依赖RF设置为2或者3),当这个操作完成之后,此次写操作才被确认(Ack)。

这样能确保数据至少存在于2个或者3个独立的节点上,保证数据的冗余度。

所有XC节点都参与数据的复制操作,这样能消除“热点节点”,并保证线性的性能扩展。

当数据被写入时,同时计算该数据块的校验和,并且作为数据块元数据中的一部分进行存储。

随后数据块在保证满足RF的前提下,被“异步”推送到HDD中。

当发生节点或者磁盘失效,数据块会重新在所有节点间进行复制以满足复制因子的设置。

任何时候,读取数据块并同时计算其校验和以确保数据块有效。

当数据块检查结果不匹配校验和时,副本数据将会覆盖该无效数据块。

在XC分布式文件系统中(NDFS),我们使用了一些关键技术来确保:

数据在100%时间内都是可用的(即“强一致性”),并且保证NDFS扩展到超大规模数据量时依然可靠。

这就是文件系统元数据强一致性的Paxos算法。

NDFS使用一种“环状”的Key-Value结构的分布式数据库来保存重要的元数据。

为了确保元数据的可用性和冗余度,也同样引入了复制因子(RF)。

一旦一条Metadata记录被写或者更新后,这条

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 小学教育 > 学科竞赛

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1