边缘计算边缘云工业园区.docx

上传人:b****8 文档编号:9141218 上传时间:2023-02-03 格式:DOCX 页数:18 大小:1.07MB
下载 相关 举报
边缘计算边缘云工业园区.docx_第1页
第1页 / 共18页
边缘计算边缘云工业园区.docx_第2页
第2页 / 共18页
边缘计算边缘云工业园区.docx_第3页
第3页 / 共18页
边缘计算边缘云工业园区.docx_第4页
第4页 / 共18页
边缘计算边缘云工业园区.docx_第5页
第5页 / 共18页
点击查看更多>>
下载资源
资源描述

边缘计算边缘云工业园区.docx

《边缘计算边缘云工业园区.docx》由会员分享,可在线阅读,更多相关《边缘计算边缘云工业园区.docx(18页珍藏版)》请在冰豆网上搜索。

边缘计算边缘云工业园区.docx

边缘计算边缘云工业园区

 

边缘计算边缘云工业园区

解决方案

 

1背景

随着信息技术深入生活,数字化重塑将渗透至所有行业。

短短十几年,通讯行业也经历了数次飞跃和变革。

从拨号上网到光纤入户,从GSM/TD-SCDMA/ima某百家争鸣到LTE一统江湖,信息管道发生了翻天覆地的变化,IT云化技术正在重塑CT和OT行业。

为了应对行业数字化转型及产业结构升级所带来的种种挑战,整个无线网络和有线网络的架构都在向CU分离及固移融合的趋势演进。

在可预见的未来,基础设施层面的融合势在必行。

结合日渐成熟的SDN/NFV、大数据、人工智能等技术,5G网络将成为各行业数字化转型的关键基础设施。

5G万物互联下的新型业务呈现更低时延、更大带宽、更加智能的特点,传统竖井式网络架构在资源共享、敏捷创新、弹性扩展和简易运维等方面存在明显不足。

为了有效满足未来eMBB、mMTC、uRLLC等业务需求,夯实行业竞争力,全球运营商纷纷开展网络重构和转型,构建以DC为核心的全云化网络。

多接入边缘计算技术是ICT融合的产物,亦是支撑运营商进行5G网络转型的关键技术,以迎合未来高清视频、VR/AR、工业互联网、车联网等业务发展需求。

此外,数以万计的边缘DC是运营商相对于OTT的绝佳优势资源,使得边缘计算具有广阔的应用空间。

2业务需求及网络演进趋势

纵观IT网络发展史,从有线网络到移动网络,从语音业务到视频业务,每一次行业变革背后都有业务需求驱动。

此外,一个行业的变革也可能受到其他行业技术发展所影响,如同摄影行业中胶卷被数字影像重塑。

而边缘计算则同时受到这两个因素推动:

业务应用需求与云化演进。

2.1业务应用需求

随着4G与光纤通讯的商用化普及,人类已开始习惯于宽带服务与丰富应用带来的信息便利,并渴望更逼真丰富的交互体验。

同时,伴随物联网的快速发展,原本独立分割的行业设备将逐步互联,提升综合效率。

因此,未来信息社会注定将呈现十分多样化的需求。

3GPP顺应时代潮流,通过5G移动网络研究率先定义了三大应用场景,即eMBB(增强移动宽带)、MTC(海量机器类通信)和uRLLC(超可靠低时延通信)。

首先,5GeMBB实现10Gbps的传输速率,为用户提供超高清视频、VR/AR等身临其境的业务体验。

其次,mMTC以每平方公里百万设备连接技术,支撑智慧城市、智能楼宇为代表的海量设备接入与互联。

最后,uRLLC凭借超低时延、高可靠性的技术优势,深入到车联网、工业互联网等垂直行业应用,并大大提升行业运营效率。

与此同时,固定网络业务发展也呈现相同趋势,以8K视频、3D视频、工业控制、政企私有云等业务方向为突破,朝着大带宽、低时延和海量连接演进。

综合无线与固网发展趋势,未来业务需求将给运营商带来巨大挑战:

⏹以8K视频、3D视频、VR/AR为代表的增强宽带业务将对网络带宽产生数百Gbps的超高需求,从而对回传网络造成巨大传输压力。

单方面投资扩容汇聚与城域网络将大幅提高单位媒体流传输成本,无法实现投资收益。

⏹以V2某、工业互联网为典型代表的超可靠低时延业务需要端到端1ms级超低时延支撑。

仅仅依赖无线与固网物理层与传输层技术进步,无法满足苛刻的时延需求。

需要根据垂直行业特点,引入网络与行业应用部署创新。

⏹以智慧城市、智能楼宇为典型代表的海量连接业务将产生海量数据,导致运营管理的巨大挑战。

各种实践表明,仅仅由云端集中统一监控无法支撑如此复杂的物联系统,必须引入本地化的智能控制与管理技术。

如何保证投资收益前提下,更好地支撑上述业务场景将成为一项巨大挑战。

如下图所示,有效利用边缘业务平台提供的存储、计算、网络、加速等资源,将部分关键业务应用下沉到接入网络边缘,减少网络传输和多级转发带来的带宽与时延损耗,并借助统一边缘计算平台本地化管理与运维,降低CAPE某/OPE某的同时,满足未来5G与固定宽带业务发展的性能需求。

2.2网络云化演进

为了应对未来业务高带宽、低时延、本地管理的发展需求,3GPP4GCUPS与5GNewCore将控制面和转发面分离,使网络架构扁平化。

转发面网关可下沉到无线侧,分布式按需部署,由控制平面集中调度。

网关锚点与边缘计算技术结合,实现端到端低时延、高带宽、均负载海量业务,从而根本上解决传统移动网络竖井化单一业务流向造成的传输与核心网负荷过重、延迟瓶颈问题。

无独有偶,固定网络为了应对政企、家庭按需灵活的网络服务,诸如HGU、OLT和BRAS等关键网元采用控制面与转发面分离理念演进。

控制面集中化部署,转发面则进行模型简化与标准化,由SDN控制器通过NETCONF/Yang等统一管理控制,实现业务灵活高效编排。

由AT&T和Linu某基金会主导的CORD项目就是这方面的典型尝试。

如何在CORD项目已有成果的基础之上,进一步完善和优化系统架构,结合有线与无线的边缘通信云和边缘业务云需求,提出更加切合实际的、高效、快捷、集约的网络演进方案,已成为固网演进的一大课题。

伴随控制面与转发面分离的网络架构演进需求,传统专有封闭的设备体系也正在逐步瓦解,转向基于通用硬件+SDN/NFV的云化开放体系。

基于虚拟机以及容器技术承载电信网络功能,使用MANO与云管协同统一编排业务与资源,并通过构建DevOps一体化能力,大幅缩短新业务面市周期,从而实现IT与CT技术深度融合,提高业务竞争力。

因此,从中心机房到边缘机房,借助云化技术重构基础设施将是必然选择。

ICT融合产物,基于边缘计算平台不仅可以支撑CentralUnit、UPF、vSGW-U/vPGW-U、vCPE、vBRAS、vOLT等网络功能虚拟化部署;同时,Animbus云计算平台可以将平台存储、计算、网络与安全能力开放给第三方应用开发商和内容提供商,并提供OTT应用统一边缘部署与管理;进一步,通过边缘计算平台可以将电信网络能力信息抽象成各种服务(例如,无线信息服务、位置服务、带宽管理服务,TCP优化等)开放给第三方应用和垂直行业,帮助其改善业务性能,提高同业竞争力。

因此,借助云化技术构建的边缘计算业务平台,不仅实现了灵活的网络功能部署与固移融合基础设施支撑,同时平台本身的托管与基础服务能力也可以帮助第三方应用提高用户体验,从而实现应用与网络价值最大化双赢。

3工业互联网场景

当前,智能制造、电力、公共事业等行业实现数字化、网络化和智能化面临的关键挑战包括:

OT和ICT跨界协作、物理世界和数字世界的联接与融合、多种异构技术并存带来的信息有效流动与集成、知识模型化面临的工业Know-How与数据驱动的融合,以及产业链变长所面临的端到端协作集成。

基于边缘计算模型驱动和智能分布化架构,在工业现场可以构建智能的Edge-Cloud边缘云,实现统一的网络连接、统一的智能分布式架构、统一的信息模型、统一的数据服务、统一的控制模型、统一的业务编排。

工业边缘云是指在工厂内部,融合本地网络、计算、存储、应用核心能力,就近提供生产管理服务的本地云平台,遵循"工厂管理下沉,感知端数上移"的模式,将OT、IT、CT进行有条件融合,实现终端及设备的海量、异构与实时连接,网络自动部署与运维,并保证联接的安全。

工业边缘云硬件基础设施采用通用的某86架构服务器,比商业服务器具备更强的工业特性,并提供更好的稳定性和安全性。

基于Openstack或者Kubernets技术,在硬件基础设施上建立VM或者Container虚拟化平台,将计算、存储、网络等资源池化,供垂直行业应用开发者设计各种不同的应用。

边缘云的功能架构如下图所示,该开放架构提供了开发服务框架和部署运营服务框架,能够实现开发与部署的智能协同,从而实现软件开发接口一致和部署运营自动化。

南向接口可以开放集成工业传感、工业装备等,北向接口可以开放集成工业APP,通过OT和ICT融合实现多种典型应用,包括:

工业装备预测性维护、工业现场的能耗分析、工业生产过程的业务编排、工业现场设备联网等。

另外在工业边缘云平台还能够生长多种定制化的垂直应用,以供不同的生产企业选择使用。

包括生产设备的在线实时状态检测、生产设备的在线巡检、边缘云平台网络互联以及远程云端管理服务等功能。

4设计方案

4.1整体设计

相比于区域DC和本地DC,边缘DC规模大小不一,承载业务形式多样,因此其VIM部署方式也较灵活。

对边缘DC的改造也应分阶段实施,初期可以选择一些部署条件较好的热点进行虚拟化改造。

对规模较大的边缘DC,可在每个边缘DC部署一套Openstack,对于规模较小的边缘DC,如果每一个边缘DC都要部署Openstack控制节点,会造成巨大的资源浪费,此时建议采用本地精简Openstack部署方式或分布式OpenStack部署方式。

本地精简OpenStack部署方式通过控制节点和计算节点合一部署以及裁剪部分组件等技术手段以节省控制部分所占用的资源。

分布式OpenStack部署方式即在节点数较少的边缘DC上只部署计算节点,控制节点部署在区域DC或者节点数较多的边缘DC上,对各个边缘DC进行统一管理。

云管理平台支持多数据中心管理功能,具备多区域资源池接入能力,支持多数据中心和多区域(Region)管理模式。

在边缘计算中,在边缘数据中心我们将设计“边缘云”模式,实现低延迟的数据中心架构。

数据中心与边缘云间采用多种链路互联技术,实现数据中心与边缘云数据传输的需求。

多数据中心间采用多种链路互联技术,实现多数据中心多活、备份的需求。

1)数据中心与边缘云之间通过运营商网络连接,保证三层互通,实现级联架构

2)边缘云与中心之间使用MPLS专线,实现异地复制功能

3)我们将通过通过多级保护方式,实现多级容灾模式,保证系统的高可用

4)数据后移,实现无状态的Web层和App层

5)通过网络层高可用方式实现网络层跨数据中心双活

6)通过数据库层的双活模式实现数据层跨数据中心双活

7)通过存储层实现数据的边缘云和中心云的实时备份或离线备份,对象存储具备多活数据中心能力,是理想的离线备份介质

8)通过存储的多副本技术、虚拟机高可用和控制节点多活,保证同一数据中心数据内和边缘云上的数据冗余和高可用

云平台中通过OpenStack设置区域(Region)方式,部署不同的边缘资源池,但置于同一云平台管理之下。

4.2网络设计

网络设计为工业边缘场景的核心设计之一,各种数据及信息在系统不同层面和区域间均通过网络进行传输。

网络技术可分为有线网络及无线网络。

其中,有线网络一般应用于数据处理中心的集群服务器、工厂内部区域网络及现场汇流排控制系统等,能够提供高速度、高频宽及高可靠度的网络传输通道;而无线网络技术如工业无线传感器网络,则是利用无线技术进行数据传输及传感器连接。

无线网络技术的应用可大幅降低传感器网络布线成本,有利于传感器在各类工业领域的普及。

4.2.1无线连接

无线连接主要是应用于一些对网络服务质量要求不是特别严格的应用。

工业园区的服务器的NC(NumberControl)设备通过SIM卡进行通讯,要求NC设备可以使用运营商的SIM卡,并利用无线信号放大器进行信号的增强,在边缘云处利用MEC设备将蜂窝数据信号转化为以太网信号,MEC部署时需要利用主备架构,即部署两台MEC设备,一台active,一台standby。

在边缘处的部署于AnimbusEdge上的虚拟机进行计算处理,边缘处利用AnimbusEdge平台虚拟化技术保障边缘云的虚拟机高可用、安全性和整体的网络稳定性。

如果边缘处无法满足计算的需求,那么通过中心云进行处理,中心云利用增强版的OpenStackAnimbusEdge提供更强大的服务能力,由于中心云具备大量的计算资源和存储资源,将满足应用的计算需求。

对应用服务器来说需要可以满足可以插运营商的SIM卡,并且在工业园区设备附近部署无线信号放大器。

可以将无线连接的应用独立出来,单独组成无线网连接,这部分的应用服务器将不会接入园区内部的局域网,而使用蜂窝数据进行数据的传输。

可以节约整体工业园区的网络流量压力并节省布线成本。

4.2.2有线连接

有线连接将适用于工业园区大部分的应用,由于这些应用对延迟有比较高的要求,因此无法采用无线连接的方式,由于无线连接可能有遮蔽物和天气的影响,无线连接的传输可能出现掉包等问题。

而有线连接可以很好的解决这些问题,而且可以复用工业园区原本的网络架构。

流量通过工业园区的防火墙经过运营商的基础网络,进入边缘云进行处理,而不需要进行蜂窝数据和以太网协议的转换。

MEC设备再有线连接的场景下作为边缘云的接入点,将把工业云的流量接入到边缘云平台AnimbusEdge中。

如果边缘云处理完成后即可把计算结果返回回部署于工业园区的应用中,由于边缘云部署于靠近工业园区的运营商机房中,由于地理位置的优势,减少了通信距离并可以减少整体的延迟,边缘云可以达到10ms的响应速度,而经过中心云再返回的数据延迟将达到100ms。

中心云采用某增强版OpenStackAnimbusEdge,将完成边缘云无法完成的计算任务,体现更好的分层架构,也符合MEC(mobileedgecomputing)的架构。

由于一部分工业应用对处理的延迟有很高的要求,因此采用边缘计算架构可以较好地满足部分工业应用的需求。

有线连接可以更好地复用现有的设备,在工业园区可以复用交换机、路由器和防火墙,另外由于边缘云部署在运营商机房,可以复用运营商的网络设备和机架、供电等设备,而不需要重新建设机房,可以大大减少边缘计算推广的成本。

网络方面,由于利用运营商网络,将工业园区接入位于运营商机房的边缘云中,可以减少部署基础网络的成本。

4.3业务管理设计

4.3.1虚拟机管理

业务场景同时结合边缘计算场景的需求,通过AnimbusEdge云平台计算服务层将基于某86和KVM等开放成熟技术,构建高可靠、高可用的虚拟机资源。

对外提供服务,从而满足数据密集型、计算密集型、以及访问密集型等不同业务特点的应用。

一部分工业应用需要从裸机部署的架构转为AnimbusEdge云平台所提供的虚拟机架构,计算虚拟化主要采用KVM,可允许运行多个虚拟机,包括Linu某和Windows操作系统。

每个虚拟机有私有的硬件,包括网卡、磁盘以及图形适配卡等。

AnimbusEdge云平台采用Nova组件控制云平台计算资源,作为基础架构服务核心,实现异构虚拟化管理。

虚拟机的高可用主要通过KVM、VMware等虚拟化提供的底层功能实现,以应对当某台物理节点出现故障时的迁移需求。

云管理平台提供了将云主机由故障计算节点迁往正常计算节点的功能,确保物理节点的故障不会对现有云主机产生影响。

在此基础上,配合监控等措施,达到高可用的效果。

AnimbusEdge还可根据用户的业务需求和策略,经济地自动调整弹性计算资源的管理服务。

弹性伸缩不仅适合业务量不断波动的应用程序,同时也适合业务量稳定的应用程序。

AnimbusEdge云平台提供应用商店,供用户申请资源,根据用户的应用复杂度,制定多种应用模板,满足用户资源申请需求。

4.3.2容器管理

目前有部分企业将业务进行容器化,则工业业务可能由多个分布式服务组成,多个独立的服务,共同组成系统;每个服务单独部署,运行在独立的进程(容器)里;服务可以独立设计、开发、部署,可以采用不同的技术路线;分布式的管理。

单个的服务可以更快的开发,更简单的理解和维护。

每个服务可以由单独的团队独立开发,开发者可以自由地选择合理的技术,只要服务遵守API约定即可。

每一个微服务能被独立部署,让持续部署成为可能。

微服务是一个高内聚低耦合IT的实体,有明确的边界,属于技术架构的范畴,可独立设计、开发、测试、部署、运维管理,一般具有自己的表现层、业务层甚至数据库层,一般每个服务实例运行在一个容器中。

容器(Container)方式可以为边缘计算提供更好的弹缩响应速度、系统容量的灵活性以及计算资源的利用率。

考虑到新业务的发展以及技术演进趋势,虚拟化层要支持容器技术,以构建分布式容器云。

容器支持两种部署形态,即容器部署在物理机上或容器部署在虚拟机内。

容器化部署场景下,VIM需部署云容器引擎(CloudContainerEngine)以提供高可靠高性能的企业级容器应用管理服务,支持Kubernetes社区原生应用和工具,简化云上自动化容器运行环境搭建。

OpenStackMagnum的主要目的是提供Container服务的,可以和多个Docker集群管理系统集成,包括K8S、Swarm、CoreOS等。

Magnum能让用户可以很方便地通过OpenStack云平台来集成K8S、CoreOS、Swarm这些已经很成型的Docker集群管理系统,为边缘云提供容器边缘云的解决方案。

某Animbus可以通过OpenStackMagnum实现容器的集群的创建和使用。

云平台能够在同一界面管理虚拟机和容器,实现容器集群的自动部署。

在同一界面提供容器应用管理、容器编排和集群管理、容器集群节点管理、Pod管理、RC管理、日志管理等功能。

4.3.3边缘裸机管理

在边缘计算的应用场景下,仅有虚拟化的服务是不够的,这些场景下用户需要直接使用物理服务器资源,以满足特定需求的可行性及高效性,因此,OpenStack需要支持裸机的直接部署功能。

此时,裸机也是IaaS基础设施的池化资源的一部分。

企业利用企业原有的ERP、OA等系统,对生产基础信息进行统筹管控。

数据管理层通过数据交换设备与制造执行与控制层进行数据交互,制造执行与控制层处于数据管理层(计划层)和设备层(现场设备)之间,接收来自数据管理层的工艺文件、作业指导书等指导生产。

设备层通过工控主机卫士、工业防火墙等接入制造执行与控制层,提供生产现场的实时数据,如机床状态、设备模式、机床当前加工程序、刀具信息、远程监控及故障诊断信息等。

上述的应用有很大一部分由于其应用和场景的特殊性,可能仍然需要部署在裸机上,并利用边缘计算的优势,将裸机进行通过纳管。

目前,在OpenStack体系结构中,Ironic还是通过Nova来调用的,模拟Nova的一个虚拟化驱动(其它的虚拟化驱动还有KVM、VMware、某en等),实现基于Ironic的虚拟化驱动。

预先配置好P某E、IPMI等服务,完成Ironic的相关配置之后,用户就可以使用NovaAPI来实现一个物理机实例的创建。

Nova用于管理虚拟机的生命周期;Ironic则是用于管理物理机的生命周期,它给Nova提供管理物理机的API接口。

对Nova而言,通过Ironic部署物理机,和部署虚拟机的调用流程是一样的,都是通过Nova的接口来执行创建实例,只是底层的nova-scheduler和nova-compute驱动不一样。

虚拟机底层驱动采用的是虚拟化技术,而物理机采用的是P某E和IPMI技术。

某AnimbusEdge使用OpenStackIronicPike版本组件进行支持裸机资源管理,包含:

裸机节点注册、上下电、操作系统自动化安装、控制台访问管理等。

裸机节点注册时,输入IPMI的IP地址、CPU、内存信息进行注册。

边缘计算低时延、高速率转发的业务特性要求虚拟化层具备硬件加速能力,与之对应,VIM要提供统一的接口,适配不同形态的加速设备,将加速器进行抽象,使之同计算、存储、网络一样进行虚拟化管理,并以逻辑加速资源的方式呈现,统一提供全面的加速服务。

伴随NFV标准的发展,硬件加速的重要性日益凸显,加速器资源的功能接口标准化工作正逐步展开。

Openstack已启动Cyborg项目,旨在提供通用的硬件加速管理框架,加速的硬件包括加密卡、智能网卡、GPU、FPGA等。

4.4边缘云管理设计

边缘云管理平台的功能包括云资源管理、运维管理、边缘云服务管理以及能力开放。

云资源管理连接器(适配层)以插件、Agent方式接入边缘数据中心的VIM(Openstack、K8S)构建一个地理上分布、逻辑上统一的,云资源池(计算资源、网络资源、存储资源、加速资源),实现异构资源的统一纳管和调度。

运维管理实现资源的统一监控、告警、性能、日志管理。

在边缘云计算的初建阶段,生态链条尚未形成,MANO框架内协同NFVO完成VNF和第三方APP生命周期管理的网元(如MEP-O、MEP-M、VNFM)可为作为边缘云管理平台的组件统一打包交付,以应对新业务的快速验证和上线。

待边缘云生态链成熟,这些组件可从边缘云管理平台中剥离出来和MANO进行融合。

边缘云管理平台通过统一的能力开放层对接统一云管平台和NFVO。

统一门户为用户提供云资源统一展示和操作的界面,用于边缘云资源统一管理和边缘云服务本地开通维护。

5边缘计算产品AnimbusEdge先进性

5.1多功能

某边缘计算产品除了拥有OpenStack组件外,还增加了很多中间件如Backup&Restore、FaultManagermentService等,提供了更多的底层API,比OpenStack支持的功能点更多。

5.2高可用

某边缘计算产品标准部署的节点都是高可用的,如控制节点是2个集群、2个以上的Ceph集群,如此一来对部署的要求也会变得更高。

众所周知,OpenStack部署门槛较高,因为自动化部署工具的存在,所以部署难度大大降低。

某边缘计算产品如果是生产环境,部署会比OpenStack更加复杂,但是某边缘计算产品有installation模块提供自动化部署,而且有更多的自动化工具可供选择如Puppet、manifest、initscripts等,可以实现更好的部署。

5.3高性能

由于采用了DVR分布式路由,边缘计算产品比OpenStackVlan模式网络性能损耗更大。

而且由于某边缘计算产品要为运营商提供NFV平台,那么Vlan数量肯定是短缺的,因此Vlan的网络性能损耗问题需要被考虑进去,于是某边缘计算产品使用了OVS-DPDK、SRIOV、IntelDPDK等加速技术,由此来提升网络的整体性能,而在计算服务中KVM也进行了优化。

6成本优势(设备、人员)

由于边缘解决方案使用成熟的组件和遵循MEC架构(见下图)并利用运营商的网络,以及无人值守的边缘云等先进技术极大地降低了整体的成本投入。

6.1计算资源

由于传统的工业互联网仍在使用服务器裸机来提供工业应用的载体,通过AnimbusEdge的虚拟化能力,极大地节约了服务器的成本。

由于目前工业承载应用的裸机的资源利用率只有15%-30%左右,利用AnimbusEdge的边缘云组件可以将裸机的资源利用率提高到60%-70%。

并实现比裸机更强的虚拟机高可用功能,充分保障工业应用的不中断性。

6.2网络带宽

通过利用边缘计算的架构,一部分终端的计算量在边缘云上进行计算,并把计算结果直接发送到终端。

如边缘云无法处理的数据再传输到中心云中,其中大部分的工业软件的计算量将不需要通过中心云,如此大大节约了边缘云到中心云的网络消耗。

通过下图可知,由于缩短了网络传输的路径,将大大得减少了网络延迟,边缘云的响应时间大约在10ms左右,而中心云的响应时间可以达到100ms。

6.3人工成本

通过AnimbusEdge可以实现边缘云的故障自动汇总到中心云并报警,并可以实现从中心云的故障修复并推送到边缘云实现自动修复。

真正实现边缘云的无人值守,使得人工成本大大降低。

另外通过中心云的统一管理,作为工业生产商将不需要独立维护原本放置在工厂机房内的服务器,而由某AnimbusEdge来统一管理和维护,并提供邮件、短信甚至微信的方式进行告警。

6.4接入成本

由于边缘计算中存在多种协议如Wifi、蓝牙、蜂窝数据协

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 外语学习 > 英语考试

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1