近红外光谱检测关键技术.ppt

1、近红外光谱检测的关键技术近红外光谱检测的关键技术基本概念基本概念n近红外光谱分析技术主要利用有机分子的含氢基团在中红外谱区的倍频与合频的吸收来分析分子的结构、组成、状态等信息，记录的主要是CH、OH、NH、SH、PH等含氢基团振动的倍频、合频吸收。n不同基团(如甲基亚甲基、苯环等)或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别。两大原理两大原理nn漫反射定量分析原理漫反射定量分析原理近红外光谱分析与中红外、紫外可见光谱分析是完全不同的。其测量方式主要是用漫反射技术完成，光与固体物质的作用方式如下所示:由光源发出的近红外光照射到固体物质后，进入样品内部经过多次反射、折射和吸收后又返

2、回到样品表面的光称为漫反射光。其负载了样品的结构和组成的大量信息。但由于漫反射光与样品的作用形式多样，除了样品的组成成分外，其颗粒大小、软硬程度、颜色及温度等性质都会对漫反射光的强度产生影响。因此，漫反射不遵守比尔定律，而遵守KubelkaMurk方程:n仪器技术仪器技术n关键在于：关键在于：提高仪器的信噪比提高仪器的信噪比n表现在：表现在：吸光度的重现性吸光度的重现性某一样品进行多次扫描，各扫描点下不同一次测量吸光度之间的差异，通常用多次测量某一谱峰位置所得吸光度的标准差表示。吸光度重现性对近红外光谱检测来说是很重要的指标，它直接影响模型建立的效果和测量的准确性。仪器系统由：仪器系统由：光源

3、光源、分光系统分光系统、样品池样品池、探测器探测器 组成。组成。近红外光谱仪的四个组成部分，每个部分都可能引入噪声。近红外光谱仪的四个组成部分，每个部分都可能引入噪声。透射式近红外光谱仪适于半透明、大颗粒样品漫反射式近红外光谱仪适于薄层、稀疏或粉末状样品半反半透式近红外光谱仪结合前两种的优点，普适性好光源光源n光源谱带足够宽n要保证光源的高稳定性方法：方法：n增大光信号强度：噪声一定，增大光强=增加信号强度=提高信噪比n对光信号进行调制：直流变交流，再通过后续滤波电路消除干扰信号n使用滤光片：直接把不需要的光滤掉，减少杂光干扰分光系统分光系统n一般来讲，光学质量可靠的分光系统本身不会直接影响到

4、仪器的信噪比，但由于仪器中装载分光系统的可动部件如光栅转轴、滤光片盘轴，在连续高强度的运行中可能存在磨损问题，从而影响光谱数据的可靠性，这样也可能会影响到仪器信噪比。方法：方法：n研制无移动部件光谱仪，直接使有用的光谱落在线阵探测器的有效区域，这样整个分光系统就不存在移动部件，也就不存在磨损部件的问题。探测器探测器n合格的探测器一般都能满足使用要求，主要问题是探测器多数对于温度十分敏感，保持恒温工作环境很重要。方法：方法：n人工通过安装空调、风扇、散热管等降温，另有一些高档仪器会直接采用自带液氮、半导体制冷的探测器。样品池样品池n几乎所有近红外光谱仪在样品池的表面都是一个玻璃或石英的盖子，其目

5、的是保证样品有一个匀质的表面。但由于各个盖子间的厚度不可能加工到完全一致，因此，盖子的厚度和折射率的不同将影响分析结果的准确性。方法：方法：n配置开放式样品池，这种样品池没有玻璃或石英的盖子，也就消除了由于盖子的不一致而产生的分析误差。但在装样到上机扫描过程中，由于样品表面蒸发或吸湿作用，会导致样品含水量的变化。光谱预处理技术光谱预处理技术n近红外光谱仪所采集的光谱数据不仅包含了被测样品的组成和结构信息，而且还包含了噪音、背景及其它系统干扰的信息。这些干扰信息使得近红外谱图信息复杂化，在有些情况下甚至会湮没待测物质的信息。n光谱预处理主要内容就是是消噪。方法主要有滤波、基线校正、归一化处理、多

6、元散射校正。滤波滤波n一般认为，近红外光谱的谱带较宽，从频谱上看，有用信息处于低频部分，而随机噪声一般处于高频部分；因此，很容易通过平滑除去这部分噪声。n有关滤噪处理的数学方法有很多种，如小波变换、傅立叶变换、奇异值分解及其它一些方法。这些方法在解决不同类型的噪音、改善信噪比方面都各有特点。n其中，信号平滑是一种最常用的消除高频噪声干扰的方法;其原理是将各数据点的值按一定的权重在自身和临近点重新分配，得到较光滑的曲线;常用的平滑方法主要有：平均窗口平滑法、中位值平滑法、savitskyGolay平滑法等。基线校正基线校正n由于样品状态与测量条件的差异，导致近红外光谱的平移或旋转，这对谱图解析造

7、成了较大的干扰，如不加处理，会影响所建立校正模型的质量和对未知样品预测结果的准确性。n要消除这种干扰，可以通过基线校正处理，从而使校正模型的稳健性更强。基线校正最常用的解决办法是对光谱进行一阶导数或二阶导数处理，前者主要解决基线的偏移，后者则解决基线的漂移。归一化处理归一化处理n在使用多元校正方法建立近红外光谱分析模型时，将光谱的变动（而非光谱的绝对量）与待测性质或组成的变动进行关联。n基于以上特点，在建立定量或定性模型前，往往采用一些数据增强算法增加样品之间的差异，从而提高模型的稳健性和预测能力。n常用的算法有均值中心化、标准化和归一化等。从每个光谱数据中减去各个样品的平均值，使所有数据都分

8、布在零点两侧，充分反映变化信息，消除光程或样品稀释等变化对光谱响应造成的影响，并且可简化以后的回归运算。多元散射校正多元散射校正n吸光度不仅与成分含量有关，还与样品颗粒大小、均匀性及装样的松紧度有很大关系，这些因素统称为颗粒原因。n不同样品间吸光度的差异中通常只有极小部分与样品的成分含量差异有关，其他绝大部分由颗粒度原因造成的吸光度的差异可视为干扰信息，在对光谱进行分析时应当尽量消除。n多元散射校正则在解决样品的粒径不均匀或测样容器不一致对光谱的影响上有良好的效果。信息提取技术信息提取技术n在近红外光谱分析中由于光谱谱带较宽、吸收峰重叠严重、信息复杂。要使近红外光谱技术有所作为，就离不开信息提

9、取技术的支持。n光谱信息的提取有两种方式，一种是只提取特定波长点的信息，在早期的光谱检测中经常使用这种方式。另一种方法采用化学计量学知识进行连续谱校正，是现代近红外光谱技术的特征之一。n不管哪种方式，都是建立在化学计量学化学计量学(Chemometrics)理论基础之上的。主要方法：主要方法：n多元线性回归多元线性回归(MLR)n主成分回归主成分回归(PCR)n偏最小二乘回归偏最小二乘回归(LSR)n人工神经网络人工神经网络(ANN)线性问题线性问题非线性问题非线性问题多元线性回归多元线性回归(MultiplyLinearRegression，MLR)n多元线性回归是一元线性回归的扩展，用于建

10、立多个自变量和因变量之间的关系。在近红外光谱的定量分析中，常常涉及到处理多个近红外光谱信息与所研究质量指标的相关性，多元线性回归是最早使用的统计分析方法。n多元线性回归适用于线性关系特别好的简单体系，不需考虑组分之间相互干扰的影响，计算简单，公式含义也较清晰。主成分回归主成分回归(PrincipleComponentRegression，PCR)nPCR是先把原始数据进行主成分分析，它是以因子分析为基础，将光谱数据向协方差最大方向投影，使数目较少的主成分成为原变量的线性组合，主成分最大限度地反映了被测样品的组成和结构信息，而最小限度地包含噪音。n通过对主成分个数的合理选取，去掉代表干扰组分和干

11、扰因素的主成分,然后再用其中的几个主成分与物质的化学成分进行多元线性回归，这就是主成分回归分析的主要思想。偏最小二乘回归偏最小二乘回归(PartialLeastSquareRegression，PLSR)nPLSR从80年代开始应用于化学研究，现已成为化学计量学中最常用的多元校正方法，也是近红外光谱分析上应用最多的回归方法。nPLSR也是一种基于因子分析的多元校正方法，与主成分回归的区别是：它不仅将响应矩阵进分解，提取主因子，还将浓度矩阵进行分解提取主因子，因而具有更强的提供信息的能力，所建立的校正模型更稳定，有更强的抗干扰能力。人工神经网络人工神经网络(Artificial Neural N

12、etwork，ANN)nMLR、PCR、PLSR等多元校正方法都是基于这样一个假设前提，即所研究的体系是线性体系。但在使用近红外光谱分析技术的实际工作中，吸光度与样品含量化学测之间具有一定的非线性，这主要是由于体系中各组分的相互作用、仪器的噪声及基线漂移等原因，会引起非线性现象；特别是当样品的组分含量变化范围较大时，其非线性较明显。nANN是利用大量简单的处理单元广泛连接组成复杂网络，来模拟人脑神经网结构和行为，具有人脑的基本功能，比如学习、记忆、概括、归纳和抽取等。人n工神经网络有多种算法，按学习策略可分为两类：有监督式的人工神经网络和无监督式的人工神经网。有监督式的人工神经网络的方法主要是

13、对已知样本进行训练，然后对未知样本进行预测。无监督式方法，亦称自组织人工神经网络，无须对已知样本进行训练，则可用于样本的聚类和识别。常见问题：常见问题：n欠拟合欠拟合：线性回归定标方法中参与变量太少，如定标所用的主成分因子数太少，会使一些有用的信息没有包含在模型中，导致得到的校正的结果和预测的结果都不会很好。n过拟合过拟合：得到相关性好且偏差小的模型固然重要，但也要防止过拟合现象的产生。譬如在基于多变量（波长点）的多元线性回归模型中所选择的变量数过多或在PLSR、PCR回归中所用的主成分因子数过多等都可能造成过拟合，所得结果很有可能是校正集样品的校正结果很好，但是对没有在校正集中样品的预测时，

14、结果会很差，往往导致预测失败。1.1.对象广泛，多场合应用对象广泛，多场合应用几乎可用于所有与含氢基团有关的样品物化性质分析，而且对某些无近红外光谱吸收的物质(如某些无机离子化合物)，也可通过它对共存的本体物质影响引起的光谱变化，间接地反映它存在的信息。同时适合多种场合，可用于实验室分析，也可用于现场检测和实时在线分析。2.2.分析过程简单分析过程简单近红外光谱与中红外光谱不同的是水分的吸收不会覆盖C一H、N一H和0一H基团的吸收带，因此可用于对水溶液样品、固体和泥浆状样品的直接分析，而不必经溶剂稀释或制备嗅化钾片等处理，便于生产中实时测定,避免离线检测时制备样品带入误差。优势：优势：3.3.

15、可以利用光纤传输，实现远程一主机多探头分布式检测可以利用光纤传输，实现远程一主机多探头分布式检测光纤对电磁干扰不敏感，可在困难条件下或危险的如有毒的、充满易燃易爆样品的境中采样分析。4.4.多组分可同时快速测量多组分可同时快速测量在大多数情况下，通过建立的数学模型就可以利用样品的近红外光谱在几十秒至几分钟内完成一个样品的多种性质的测量，与传统的方法相比，节省了大量人力和物力，分析工作的效率大大提高。局限：局限：1.1.需要大量定标样品和准确的化学成分资料以建立模型库需要大量定标样品和准确的化学成分资料以建立模型库要选择大量的样品建立校正模型，即定标所用的样品，一要具有代表性，二要有足够的数量，

16、三要具有待分析组分的精确化学值;也就是说，用这些样品建立的校正模型在日后的使用过程中，所预测的样品的理化性质一定要在定标样品中有所体现。2.2.分析结果容易受多种因素影响分析结果容易受多种因素影响近红外光谱分析结果受多种因素的影响，如样品的温度、颗粒度、均匀度及装样密度等，这些物理特性在各定标样品中的差异直接影响样品光谱信息与化学成分信息之间的线性关系，使得近红外的分析结果低于化学分析的结果。3.3.不能分析小量样品或浓度过低的样品不能分析小量样品或浓度过低的样品如果分析的样品量很小，则很难获得正确的近红外光谱。同时，当检测低浓度含量的成分时，其它高浓度成分成了主要干扰信息，一般很难较为精确的分析出低浓度含量的成分。4.4.对仪器要求严苛对仪器要求严苛近红外光谱信息量大、信号微弱、谱区重叠严重。尤其是在测量低浓度的样品时，需要提高仪器的信噪比来抵消这一方面的影响进而提高分析结果的可靠性。