EP5A2 定量测量方法的精密度性能评价中文译稿.docx

上传人:b****8 文档编号:8987904 上传时间:2023-02-02 格式:DOCX 页数:47 大小:137.65KB
下载 相关 举报
EP5A2 定量测量方法的精密度性能评价中文译稿.docx_第1页
第1页 / 共47页
EP5A2 定量测量方法的精密度性能评价中文译稿.docx_第2页
第2页 / 共47页
EP5A2 定量测量方法的精密度性能评价中文译稿.docx_第3页
第3页 / 共47页
EP5A2 定量测量方法的精密度性能评价中文译稿.docx_第4页
第4页 / 共47页
EP5A2 定量测量方法的精密度性能评价中文译稿.docx_第5页
第5页 / 共47页
点击查看更多>>
下载资源
资源描述

EP5A2 定量测量方法的精密度性能评价中文译稿.docx

《EP5A2 定量测量方法的精密度性能评价中文译稿.docx》由会员分享,可在线阅读,更多相关《EP5A2 定量测量方法的精密度性能评价中文译稿.docx(47页珍藏版)》请在冰豆网上搜索。

EP5A2 定量测量方法的精密度性能评价中文译稿.docx

EP5A2定量测量方法的精密度性能评价中文译稿

 

定量测量方法的精密度性能评价;批准指南-第二版

美国临床实验室标准化委员会…

通过自愿一致化的方式为世界医学科学团体服务

NCCLS是一个非赢利的教育组织,她为国家和国际标准的编制、宣传和应用提供交流论坛。

NCCLS创建于1968年并获得美国国家标准研究院的认可。

NCCLS所依据的原则是,对病人高质量服务所需的临床实验室检测,自愿一致的标准是必不可少的。

NCCLS通过各临床实验室、检验团体学会、工厂和政府机构的参与而代表临床检验界。

叙述了文件叙述了实验室的程序、常规和参考方法以及评估方案可应用于所有检验学科。

文件审核的一致化过程由一些正式的步骤组成,叙述了NCCLS文件和规范的编制如何发展到以及被接受为临床实验室标准。

出版物

NCCLS文件以标准、指南、委员会报告出版。

标准通过一致化过程形成的文件,并对材料、方法、或实践以不能修改方式明确规定其特定的基本要求。

此外,标准也可以包含明确规定的选定要素。

指南通过一致化过程形成的文件,叙述了用于临床检验界的一般实验操作、方法或材料的规范。

使用者可以使用成文文件或修改指南以适应特定的需要。

报告未经过一致化审定过程的文件,由理事会颁布。

一致化过程

NCCLS的自愿一致化审定程序是一个为以下方面建立正式规范的方案:

●标准项目的权威性

●文件的编制和公开评审

●根据实验室使用者反馈的评论修改文件

●文件被接受为临床实验室标准

大多数NCCLS文件必须有“建议”和“批准”两种层次的一致化文件,根据特定的一致化过程,文件也可以有一个中间(“试行”)一致化的水平层次。

建议NCCLS文件作为建议标准或指南处在被临床检验界评审的第一阶段。

此文件需要接受广泛彻底的技术审核,包括对范围、方法、用途和逐字逐行对技术和行文内容的全面评审。

试行只有当一种推荐方法对某一领域的评审有明确的需要,或者当某一建议性方案需要收集特定的数据时,才制定试行标准或指南。

它应该接受评审以保证其有效性。

批准批准的标准或指南已在临床检验界得到一致同意。

应审定并评价最终文件的用途,以保证获得一致同意(即对以前版本的意见已圆满解决),并确定对其它标准的需要。

NCCLS标准和指南为良好实验室实践(GLP)提供了一个一致化的意见。

NCCLS标准和指南的条款较之应用规定多少要严格些。

因而,遵守这些自愿标准(或指南)不能减轻使用者对遵守应用规定的责任。

评论实验室使用者的评论对一致化过程是很重要的。

任何人都可以提出评论,根据一致化过程由书写文件的NCCLS委员会记录下所有评论。

在下一层次文件出版时,这些评论或者修改了文件或者委员会在文件附录中给以反馈。

强烈鼓励读者以任何形式、在任何时间对任何NCCLS文件提出评论。

评论寄往NCCLS行政办公室:

940WestValleyRoad,Suite1400,Wayne,Pennsylvania19087,USA。

自愿参与

强烈希望各专业的实验室科学家能自愿参加NCCLS项目。

请与NCCLS行政办公室联系以取得有关参加委员会的更多的信息。

定量测量方法的精密度性能评价;批准指南-第二版

目录

定量测量方法的精密度性能评价;批准指南-第二版4

目录5

定量测量方法的精密度性能评价;批准指南-第二版7

1适用范围7

2介绍7

3标准防护7

4定义8

5文中所用的标识9

6总的性能评价概况10

总体指南10

熟悉仪器性能阶段10

熟悉方法阶段10

精密度评价实验10

完成精密度实验11

与其他精密度评价方法比较11

7精密度评价的统计效能12

精密度和置信限12

与制造商之间的统计学比较12

8仪器熟悉阶段12

目的12

持续时间13

9方法熟悉阶段13

目的13

持续时间13

数据的使用13

质量控制程序13

附加评价14

初步的精密度评价14

10精密度评价实验14

精密度的组成部分14

试剂和校准物15

检测物质15

批次和天数16

记录数据17

质量控制程序17

10.7离群值检测17

精密度的统计学计算18

10.9与制造商性能要求或其他性能标准的比较20

10.9.1重复性比较20

11生产厂家建立精密度性能评价指南22

需考虑的因素22

加入多种因素23

声明语句的格式23

参考文献26

附加参考文献27

附录A.样本数据记录表28

数据表#1:

精密度性能评价实验28

附录A.(续)29

数据表#2:

精密度性能评价实验29

附录A.(续)30

数据表#3:

使用数据表#2的结果

(1),

(2),(3)30

附录A.(续)31

数据表#4:

与性能要求比较的精密度评价实验31

附录B.完成的数据记录表实例32

数据表#1:

精密度评价实验32

附录B.(续)33

数据表#2:

精密度性能评价实验33

附录B.(续)34

数据表#3:

使用数据表#2的结果

(1),

(2),(3)34

附录B.(续)35

数据表#4:

与性能要求比较的精密度评价实验35

附录C.其他的统计学思考36

C1每日一个批次的改进36

C1.1增加自由度36

C1.2仪器内或实验室内的精密度标准差37

C2其他可用的评价以及公式的衍生38

C2.1日间精密度38

C2.2每日两个批次39

C2.3每日一个批次40

数据计算表#1:

精密度评价实验41

每日一批41

数据计算表#2:

精密度评价实验42

每日一批42

质量体系方法46

相关的NCCLS出版物47

定量测量方法的精密度性能评价;批准指南-第二版

1适用范围

该文档提供了评价定量测量方法及仪器的精密度性能的实验指南。

它包括开发商对新开发检测方法或仪器精密度的评价方法,以及用户期望建立自己所用检测方法的精密度性能的方法。

这些程序可能不适用于一些缺乏足够检测物质的定量测量方法。

2介绍

该文档适用于体外诊断仪器制造商以及临床实验室检测方法开发商期望建立自己的方法精密度性能。

该文档还适用于用户对所用方法精密度性能要求的有效性进行确认,或者仅仅试图评价方法本身的精密度。

自动化检测方法的用户试图用最简单的方法对制造商所声称的精密度性能的有效性进行确认则需遵循最新的NCCLS文档指南EP15-用户对精密度和准确度的论证进行。

该指南完全适用于上述情况,因为他们融入了对精密度性能评价可靠性目标的思考。

该文档还用于实验室对当前所用方法进行重要的改进。

当用户对体外诊断仪器或方法进行改进,用户需要对仪器重要的固有性能进行确认。

改进后与原始的精密度性能要求比较可能存在差异。

经典的改进实例如:

试剂的使用、标本来源、校准或质控物、或者操作程序与制造商于原始商品标签上的性能要求不同(使用技术说明书)。

3标准防护

由于通常并不知道何种物质具有传染性,因此所有的患者和实验室标本都被当作传染性物质,并按“标准防护”进行处理。

标准防护是一种新的防护指南,其中一个主要的特征为强调“全身防护和与身体隔离”的原则。

标准防护中包括了对所有传染原的传播的防护,因而比仅对血源性传染原的传播的全身防护更广泛。

标准防护和全身防护指南可从美国疾病控制和预防中心获得(GuidelineforIsolationPrecautionsinHospitals.InfectionControlandHospitalEpidemiology.CDC.1996;17

(1):

53-80andMMWR1988;37:

377-388)。

对于来源于实验室仪器和物质的所有传染原的传播的特殊防护以及传染性疾病职业暴露的管理建议,可参照最新版的NCCLS文档M29-实验室工作人员职业获得性传染病的防护。

4定义

分析物-指出现于待测物中的成分。

注:

a)它包括任意的成分如:

离子、化合物、物质、因子、传染原、细胞、细胞器、活性(酶活性、激素活性、免疫活性),或性质、存在或缺失、浓度、活性、强度,或者其他可被测量的性质;b)定量形式如“24小时尿蛋白量”,“蛋白”即为分析物。

在“血浆葡萄糖含量”中,“葡萄糖”即为分析物。

在上述两个例子中,长的短语表示“待测物(ISO17511)”2;c)定量的形式如“血浆乳酸脱氢酶同工酶1催化浓度”,“乳酸脱氢酶同工酶1”即为分析物。

不精密度-特定条件下各独立测量结果的分散程度。

中间精密度(检测)-中间精密度条件下的精密度。

中间精密度条件-检测结果是在不同操作条件下,于同一仪器上运用相同的检测方法对同一检测项目进行测量所获得;注:

a)操作条件有四个要素:

时间,校准,操作者,仪器;b)操作条件的变化因素需阐明;这在精密度评价中通常称作:

“批间”,“日内”,“日间”,“仪器间”,以及“室间”。

待测物-待测量的特殊量(VIM93);注:

该术语和定义包括了所有的量,然而通常所用的“分析物”指的是待测量的实体。

如“物质”浓度就是一个量,它可能于某一特定分析物有关。

检测范围/可报告范围-待测物的一系列值,在某一检测仪器上的检测误差在特定范围内;a)对于该文档,在某方法的可接受标准;b)通常称作可报告范围-在仪器,试剂,或系统的检测灵敏度有效情况下检测结果的有效范围。

精密度-在规定条件下所获得独立检测结果的接近程度。

重复性条件-独立的检测结果是在较短时间内,在同一实验室由同一操作人员于相同的仪器上运用同一方法对同一检测物质进行检测所获得(ISO3534-1);注:

通常称作运行间精密度。

重复性(检测结果的重复性)-在相同检测条件下对同一待测物进行连续测量所得结果的接近程度(VIM93)。

再现性条件-检测结果由不同操作人员在不同的仪器上运用同一方法对相同检测项目进行测定所获得(ISO5725-1)。

5

再现性(检测结果的再现性)-在变化的检测条件下对同一待测物进行检测所获得结果的接近程度。

批-在检测系统真实性和精密度稳定的间隔期,但不可以超过24小时或少于制造商推荐的频率(USCFR493February28,1992);6注:

ISO(ISO3534-1/93-2.48)定义如下:

在一连串定量性质的观测运行中未中断的一系列相同属性的事件称作“批”。

样本-源自系统的一个或多个部分,并企图提供系统的信息,通常作为系统或其产品的结论基础;注:

例如:

采自大量血清中的少量血清。

批内精密度-见中间精密度条件。

5文中所用的标识

A

批均数的标准差

B

每日均数的标准差

χ2

检测制造商声明性能的卡方统计

I

总天数(通常20)

j

日内批次(通常2)

MD

天数的均方

ME

批内均方

MR

批次均方

R

总的批次(1+S2r的自由度)

Sdd

日间标准差的估计

Sr

重复性标准差的估计(批内精密度)

Srr

批间标准差的估计

ST

仪器内或室内精密度标准差估计

σr

性能要求重复性标准差(批内精密度)

σT

制造商的总体标准差要求或医学决定标准差

T

1+ST的自由度

Σijk

第i天第j批的结果(第i天第j批第k次重复的结果;通常k=1或2)

i1

第I天,第1批重复测量结果的均数

i。

第i天所有结果的均数

所有结果的均数

6总的性能评价概况

总体指南

正确的评价一台分析仪需要:

●足够的时间根据制造商提供的说明书熟悉一台仪器工作和保养的机制;

●足够的时间熟悉评价方法的步骤;

●整个评价期间以适当的质量控制对仪器进行保养;

●具有充分的时间产生足够的样本数据以及恰当的方法。

(数据搜集和实验的时间很重要,即性能评价要有足够的自由度。

它可以正确的反映客户在实验室中常规工作量的一段时期仪器的长期性能)

●统计学有效的数据的分析程序。

“足够的数据”如何定义,这依赖于数据的最终使用以及仪器所决定的性能如何。

熟悉仪器性能阶段

第一步是熟悉仪器,以及日常仪器使用的各个方面:

安装,操作,保养,以及其他因素。

用户可在制造商所提供的培训期之后或者同时进行。

熟悉方法阶段

性能评价实验的前五天应该用来熟悉实验方法本身。

实践实验时,任何重要的问题应该被发现。

数据应该在这阶段被收集,因为它可能在实验结束时是有用的。

同时可进行精密度的可接受性预实验,而其他性能实验未在本指南中提及。

精密度评价实验

一旦成功熟悉了仪器,精密度评价实验才能开始。

最少操作天数20天为精密度评价实验中的推荐天数。

由于日间不精密度可能较大,因此性能评价需有足够长的时间以保证引起误差的各独立成分被充分的包括在实验中。

在每个测试天,需分析两个样本两个独立的批次(当“批”是目标仪器操作运行的一项重要成分时)至少两个水平的分析物浓度。

在每批中至少检测一个质控样本。

在性能评价过程中需运用实验室的常规质控程序以及物质(如果恰当)。

如果“批”不构成所考虑的仪器的一方面,那么四个样本需在每个水平成对进行分析,在重复性条件下,在每日的不同时间,成对的结果需与同一“批”所获得的成对结果作相同的处理。

如果体外诊断仪器制造商或一个方法的开发者试图获得某方法的再现性的评价,则需不同的操作者在多台仪器上,不同的地点,不同仪器执行该方法。

这将在第11节中进行完整的描述。

完成精密度实验

在熟悉方法期后,该实验仍需持续15天。

在每五个工作日末,需在一系列质控图中重新计算质控限并检验所有数据的可接受性。

与其他精密度评价方法比较

其他常用于评价精密度的程序包括获取单个批号内的20个观测值用于评价重复性,或每日测定给定的浓度获取单个观测值,连续监测10或20天,以获取总的不精密度(通常被不正确的计算或不恰当的称作日间精密度)。

这些程序有着严重的缺陷,因为他们不包含有标本的差异,同时未在本程序中特别声明。

当使用单个批号用于评价重复性(日间不精密度),存在在单个批号检测过程中的有效操作条件并不能反映日常工作参数的风险,从而反过来影响了评价过程。

而且并没有办法来决定检测单个批号所获取的性能对预期性能有多大的代表性。

由于上述原因,本文件推荐重复检测多个批号批间精密度用于评价重复性,以保证更健壮、更具代表性的反映多种常规条件下的性能。

本文件所计算的精密度不依赖于检测的天数以及每日的批数。

这些程序正确的整合了重复性的效能,以及批间和日间精密度的成分(这在不同的方法间存在变异),并且避免了不正确的使用精密度术语(如“日间”)。

制造商、常规操作者以及商业方法的销售商必须设计恰当的程序以保证样本的变异以及恰当的统计方法来获取每批以及每日内恰当的观测值数目。

7精密度评价的统计效能

精密度和置信限

当设计一个评价方法时,需事先决定待确定的仪器的真实精密度如何。

每进行一次精密度评价方法,即可获得一次该仪器的精密度评价。

当在同一实验室,相同的在控仪器上重复相同的方法,即使真实的精密度是相同的,所获得的精密度结论也不相同。

这些精密度评价结果预期将分散“真实值”周围,而且所获得的观测值越多,所获得的精密度结果将更接近“真实”值。

通常,更多的观测量将得到更可信的评价结果,并且,评价结果越可信,则与声明的检测性能比较有更高的“统计效能”。

与制造商之间的统计学比较

精密度评价方法的同时,还可进行重复性能以及与其他制造商的精密度评价的比较。

可以计算这些比较的统计效能,即,评价的结论与声称的性能在统计学上有多大的差异,则决定与评价的自由度数目。

这一重要的概念可用于解释基于100这一自由度的重复性能评价能检测出与声明的性能相对小的变异。

相似的,一项重复性评价仅仅基于10这一自由度将检测到与声称性能最大的偏差,并且基于此的检测评价将有低的统计效能。

如果该评价有40的自由度,尽管在临床仍然重要,它将有更高的统计效能并且该评价能检测到比声称性能更小的偏差,这是设计任何评价实验的重要方面。

8仪器熟悉阶段

目的

操作、保养程序、样本准备方法、校准以及检测功能必须加以学习。

大多的临床化学仪器制造商提供了操作人员培训。

为避免在实际的仪器性能评价过程中出现问题,仪器需要被安装并于独立的实验室工作足够长的时间以便操作者了解所有的程序。

这包括检测的实际样本,includingpool,质控物,残余血清(如果合适的话),或者其他适于该仪器的检测物质。

必须严格检测常规操作过程中可能出现的偶然事件(如错误标记,误差纠正,校准,等等)。

在这一阶段,必须收集数据。

直到用户能证明他/她能正确的操作仪器,仪器熟悉阶段方可结束。

持续时间

大多的仪器5天的熟悉阶段是足够的。

更短或更长的时间可能是合适的,根据仪器的复杂性以及操作人员的技能水平决定。

9方法熟悉阶段

目的

一项评价方法通常所包括的步骤并不常在常规实验室条件下出现。

为防止这些不熟悉的步骤影响评价实验的结果,在进行该方法前需实践多次。

通过这一阶段将保证对方法的理解。

该方法需使用实验室的常规检测物质以及质控物并按下一节所描述的进行。

持续时间

该方法的熟悉需要持续至少五个工作日直至无任何操作困难并获得数据信息。

该阶段对于复杂仪器可以适当延长。

数据的使用

在无任何操作困难的情况下收集五天或更多天内的数据,并将其与后继的方法执行阶段的精密度评价以及所收集的数据相结合,如果以评价者的观点,这些数据包括了后继的数据。

所有的数据必须经过下述的质控可接受性的检验。

质量控制程序

我们假定在方法熟悉阶段数据资料的收集是在仪器处于稳定的工作状态下进行,为确定这一假设,仪器的性能的检测需在质控样本以及常规质控程序的监控下进行。

完成数据收集阶段后方可计算并试用质控限,如果试用质控限在理论上与制造商所声称的仪器性能要求不符,在进行随后的实验之前须与制造商取得联系。

附加评价

在执行实验运行中,仪器的其他性能也可以被检测。

线性,回收率或者任何其他的未在本指南中提及的特性都可以被检测。

这些检测须在仪器没有任何严重问题的前提下进行。

如果存在任何问题,则需与制造商取得联系,找到原因所在。

决定仪器是否可以接受,不可仅依赖于有限的初步检测。

初步的精密度评价

处于或临近方法熟悉阶段末期,需进行初步的重复性评价。

需连续检测同一检测物质的20个等分。

建议使用两个或更多的浓度水平进行。

然后计算结果的标准差和变异系数。

如果从预期的结果中发现了显著性差异,则需与制造商取得联系,同时中止后继实验直至问题得到解决。

需要强调的是单次的运行对于仪器的可接受性验证是不充分的。

在继续评价之前必须找到并解决所出现的问题。

这些数据仅用于这一次的验证。

10精密度评价实验

它描述了对于处于单个实验室中使用的单个仪器或方法的重复性及室内精密度评价的基本方法。

它用于实验室内的仪器或方法的精密度评价。

如果遵循第11节中描述的附加指南,它同样还是制造商或方法开发者所使用的基本方法。

精密度的组成部分

精密度评价实验的主要目的是评价独立实验室内的单个仪器所用的方法以及仪器的精密度。

直观的,精密度是无限制的长期使用某一仪器的变异性。

通常,设计一个实验,如果所有的因素都可以影响室内精密度评价而不用考虑每一因素或成分的相对大小,这就足够了。

描述与时间相关的精密度组成部分的名词包括:

●重复性;

●批间精密度;

●日内精密度;

●日间精密度;

●室内精密度。

在这些精密度成分当中,重复性以及室内精密度通常最有意义。

本节中所描述的就是设计常规实验室操作过程中仪器的室内精密度和重复性评价方法。

本实验中并没有试图特别的加入其他可能的变化因素的评价,如校准物或试剂批号的差异,或者技术人员/操作人员的差异。

然而,在第11节中制造商建议包含这些因素,同时还有不同地点,设备之间的可变因素。

其他的影响精密度的因素包括:

样本的制备,检测物质的稳定性,残余物(carryover),以及漂移(drift)(参见NCCLS文档EP10-临床试验室定量方法的初步评价)等作为室内不精密度的因素包含在本方法中,并不单独进行评价。

试剂和校准物

在整个程序过程中必须使用同一试剂批号和校准物,结果的解释必须包括这一内容,同时必须包括真实的长期、室内精密度。

使用多个批号的试剂或校准物将会增加观测值的变异,而且,尽管实验并不允许独立的评价这些因素,但它却可以更好的反映仪器的真实性能。

检测物质

基质

基质的选择需要尽可能的模拟临床样本的特性,如有可能推荐稳定的、冰冻的基质。

如有必要,可以使用稳定的、可通过商业获得的、基于蛋白质的物质。

浓度

检测物质需考虑多个标准进行谨慎的选择。

尽管可以使用更多个浓度,但推荐使用两个浓度。

在本方法中,每个浓度水平都是独立进行精密度的评价;没有混合或平均的交叉水平。

如果精密度评价和相对精密度评价在这些水平都是相同的,那么说明具有稳定的精密度(或相对精密度)。

如果不同,则有必有检测更多个浓度水平。

在任何情况下,必须选择跨越仪器检测范围的浓度。

如果可用两个以上的浓度,则需选择更多尽可能接近实验室内“医学决定水平”的浓度。

与已出版的性能要求比较的话,则需选择与性能要求相对应的浓度。

当建立了性能要求,高水平,低水平,以及靠近决定点的水平必须被检测。

如果这三个水平显示一致的精密度或相对精密度,那么三个水平的浓度就足够,如果结果不同或者在三个水平的精密度评价存在差异,则需检测更多个水平来描述方法的性能。

批次和天数

总体指南

在本文档中所描述的实验和计算是一个性能评价的实例。

该实验及其计算也是平衡设计的实例(全面的巢式模型IIANOVA),它对多数的临床化学系统以及仪器都是恰当的。

其他的设计可能对于特殊的系统更加合适,但所需要的计算以及统计学解释将会不同。

精密度评价实验需要足量的数据,因此精密度评价恰当的反映了仪器真实的精密度参数。

除非已知这不是一个仪器性能的因素,通常需要20个可接受的工作日即可获得这一参数。

在实验的最初5天,用户必须熟悉第9节所描述的方法。

短时的方法须在两个小时内完成,而长时间的方法如放射免疫分析则需要较长的执行时间,通常一个实验周期执行一次,对于长时间的方法,需用附录C中一日一次的方法;对于短时运行,样本可在实验过程的任意时刻进行。

为了达到分析变异的目的,一个评价批即为某一独立时间内用于保证一日内变异的评价的数据收集的批。

对于某些仪器,例如随机进入,分立式,单元式的仪器,“批”的概念可能不恰当。

在这一例子中,样本需在一个工作周期内的任意时间,在重复性条件下成对的检测,以此来模拟真实的仪器操作。

特殊的步骤

评价程序的起始步骤见6.2节(熟悉仪器阶段)以及6.3(熟悉方法阶段)。

如下步骤每日必须进行:

(1)分析两个批次。

(2)如果某一批因为质控或操作困难而被拒绝,则需在找到并纠正引起问题的原因之后进行更多一个批次。

(3)在每批内,需用两个浓度的检测物质进行分析。

(4)在每个批次,质控样本通常用于验证该批次的可接受性。

(5)在每批或每天需改变检测物质以及质控样本的分析顺序。

(6)模拟真实的操作,任何可能情况下在每批检测至少10个患者标本。

(7)每日每批至少间隔两小时。

记录数据

附录A包含了记录数据表格用于总结数据的例子。

该类总结在下述的统计分析中是有价值的。

批次,天数,或观测值改变时,则产生一份相似的表格,将结果数据填入表格中,同时相应进行必要的调整计算。

质量控制程序

总体指南

正常的质控程序必须在精密度评价实验中进行。

在每次运行中至少包括一个恰当浓度的质控样本。

如果常规使用了两个或更多浓度的质

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 解决方案 > 学习计划

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1