基于SVM的时间序列预测PPT推荐.ppt

基于SVM的时间序列预测PPT推荐.ppt

《基于SVM的时间序列预测PPT推荐.ppt》由会员分享，可在线阅读，更多相关《基于SVM的时间序列预测PPT推荐.ppt（57页珍藏版）》请在冰豆网上搜索。

,最优分类平面,H为分类线，H1、H2分别为过各类中离分类线最近的样本且平行于分类线的直线，它们之间的距离叫做分类间隔。

所谓最优分类线，就是要求分类线不但能将两类正确分开（训练错误率为0），而且使分类间隔最大,r,H2,H1,H,支持向量,最优分类平面（续）,如果所有数据点距离最优分类平面的距离都大于1，即可以实现正确分类，则对于数据点（xi,yi），满足下式对于每一数据点，距离分类平面的距离为：

，对于支持向量来说，上面不等号改为等号。

则分类间隔为：

:

wTxi+b1ifyi=1wTxi+b-1ifyi=-1,最优分类平面（续）,由于最佳分类平面的最大，则问题可转化为:

上式还可表达为：

寻找w和b使得:

最大;

并对所有数据点（xi,yi）有wTxi+b1ifyi=1;

wTxi+b-1ifyi=-1,MinwTw;

St.yi（wTxi+b）1,最优分类平面（续）,当因噪声等原因，会出现分类错误。

此时，引入松弛变量i；

从而可以实现有噪情况下的分类,i,i,松弛变量i可以看作是错误分类产生的误差,最优分类平面（续）,原来的表达式:

引入松弛变量后的表达式:

参数C用来调节正则化和经验风险部分之间的平衡，还可以看作是对错误分类点的惩罚参数,MinwTw+CiSt.yi（wTxi+b）1-ii0,MinwTw;

St.yi（wTxi+b）1,线性不可分,如果对给定的数据点不能用直线分类时，?

0,x2,x,线性不可分（续）,解决线性不可分的一般方法：

将原数据集影射到高维特征空间，从而实现线性可分：

x（x）,线性不可分（续）,MinwTw+CiSt.yi（wTxi+b）1-ii0,MinwTw+CiSt.yi（wT（xi）+b）=1-i,影射到高维特征空间后，约束表达式变为：

支持向量机用于回归,对于线性可回归的数据集xi,yi，SVM回归函数表达式为:

式中，L为损失函数。

这里选用不敏感损失函数，其表达式为：

f（x）=wTx+b系数w和b通过最小化下式得到,支持向量机用于回归（续）,对于回归错误的数据点，同样也引入松弛变量。

将不敏感损失函数代入求得w和b的最小化式中，可得到：

在求解上式时，一般采用对偶理论，把它转化成二次规划问题,f（x）=wTx+b,支持向量机用于回归（续）,建立拉格朗日方程：

在极值处，上式对求偏导为零:

从而得,支持向量机用于回归（续）,化简后，可得原约束表达式的对偶式：

同样，当数据集不能实现线性回归时，仍将原数据集通过一非线性影射，影射到一高维特征空间，在高维特征空间中进行线性回归，则此时约束表达式为;

核函数,令：

，即K（x,x）为特征空间的一个内积，则称K（x,x）为核函数。

任何对称函数只要满足Mercer定理均可作为核函数。

常用的核函数有,（有的学者提出了小波核函数）,SVM回归表达式,根据Karush-Kuhn-Tucker定理，可求得，最终可得SVM回归函数为：

最小二乘支持向量机（LSSVM）,MinwTw+CiSt.yi（wT（xi）+b）1-ii0,MinwTw+CiSt.yi（wT（xi）+b）=1-i,2,LSSVM和SVM的不同之处：

1.损失函数的不同2.约束中不等式变为等式同样利用拉格朗日定理，LSSVM最终转化为求解方程，由于此方程可以用最小二乘方法解，所以称为：

最小二乘支持向量机,SVM算法实现软件,LIBSVM：

台湾大学林智仁教授等开发，有各种版本，应用很广泛LS-SVMLAB：

Matlab界面，分类、回归都可OSU_SVM：

用于分类，可以实现多分类SVMtoolbox:

Matlab界面，代码简单，适合初学者了解原理，但算法效率较低,有关SVM的网站,www.kernel-machines.orgwww.support-www.csie.ntu.edu.tw/cjlin/libsvmwww.esat.kuleuven.ac.be/sista/,SVM预测模型的建立,核函数的选择在实验中选取RBF函数作为核函数的首选，原因：

1.RBF函数可以将样本非线性地规划到更高维的空间中，从而实现非线形影射。

Sigmoid核函数取某些特定参数时性能和RBF相同。

2.RBF函数的参数只有一个。

相比之下多项式核函数参数比RBF核函数多，因此其模型选择更为复杂。

3.RBF函数的数值限制条件少。

RBF函数使数值被限制在0和1之间，而多项式核函数的值可能会趋于不定值或零值且幂值更高；

Sigmoid核函数在取某些参数值时则可能无效。

SVM预测模型的建立（续）,C和r和选取（以分类为例）选定一组C,r的范围和然后将它们的准确率用等高线连接起来绘出类似下图。

用SVM实现煤炭需求量的预测,任务：

用1980-2002年的我国煤炭需求量来预测2003-2006年的煤炭需求量将历年的煤炭消费量X（t）看作时间序列，则其预测模型可以描述为其中为非线形函数，p为嵌入维数，根据上式,可以得到输入样本和输出样本,这里用1999-2002年的数据作为检验样本,分别用SVM和神经网络预测，结果为:

用SVM实现煤炭需求量的预测,用训练好的SVM模型来预测将来2003-2006年的煤炭需求量，其需求趋势如下图：

2003-2006年的预测值,基于SVM的组合预测模型,小波分析（WaveletAnalysis）小波在时域、频域都有较好的局部特性，当原时间序列隐含有一定的周期时，可用小波将其分解，更为明显地看出序列的趋势项、周期项和随机项,基于SVM的组合预测模（续）,WT-SVM将小波分解（WT）和支持向量机（SVM）结合起来，用于时间序列的预测，即WT-SVM模型。

WT-LSSVM将小波分解（WT）和最小二乘支持向量机（LSSVM）结合起来，用于时间序列的预测，即WT-LSSVM模型：

基于SVM的组合预测模（续）,WT-LSSVM模型的结构图,WT-LSSVM应用于瓦斯预测,WT-LSSVM应用于瓦斯涌出量预测1.任务：

用前四天的历史数据预测（每小时采样一次）第五天的数据2.小波的选择：

经过比较发现：

db3或sym3小波预测效果较好3.嵌入维数的选择：

根据预测结果MAPE（平均绝对百分比误差）值的大小合理选择最佳嵌入维数4.预测结果衡量指标：

相对误差E，预测值和真实值间的相关系数C，综合指标F，F=0.6（1-E）+0.4C,WT-LSSVM应用于瓦斯预测（续）,原序列,趋势部分,周期部分,随机部分,分解后的图象（分解水平为3）,各分解水平的预测结果,各层的预测结果如图：

其中实线为真实值，虚线为预测值。

随机部分误差稍大,最终预测结果图象,三种模型的对比,下图是WT-LSSVM、回归模型、LSSVM模型的预测结果的对比。

结果表明：

WT-LSSVM模型的各项预测指标都和高，综合预测精度相当高,嵌入维数的讨论,从可以看到，当嵌入维数大到一定值时，预测结果的综合指标F和MAPE值基本不再变化，如P=4时，这是因为：

4个连续的历史数据已经包含的足够的信息去预测下一时刻的数据，当继续增加时候，反而会造成信息的冗余，有时还会被噪声干扰,分解水平的讨论,由上表可以看出：

随着水平增加，各项预测指标均有所改善。

但继续增大时候，改善不大。

因此，分解水平太高时，对结果的改进不大，还有可能造成预测误差的积累,基于SVM的组合预测模（续）,混沌理论根据混沌理论中的Takens嵌入定理可知：

一个d维的欧氏空间可由=2d+1维的向量空间重构。

在重构过程中，最重要的是选择最佳时延和嵌入维数d。

的选取：

采用平均互信息（AMI）第一次最小时候值作为最佳时延。

d的选取：

方法有多种：

伪最近邻法（FNN），曹氏方法（Caosmethod）由华裔学者曹良月提出，采用后者的原因：

（1）除外，没有其他的主观选取的参数

（2）很大程度上不依靠所得数据点的多少（3）计算效率更高,基于SVM的组合预测模（续）,混沌序列的特性：

1.频谱很宽2.最大Lyapunov指数大于0以上可以作为判断序列是否具有混沌特性,基于SVM的组合预测模（续）,混沌理论和SVM的结合-Chaos-SVM模型如果时间序列具有混沌特征，则可以根据平均互信息法和曹氏法来确定最佳时延和嵌入维数。

根据选择的和d构造输入、输出向量，然后用支持向量机来进行预测。

还可以将原序列小波分解后，对每一层都用此方法单独预测，将各层的预测结果的重构作为最终预测结果。

Chaos-SVM应用于电力负荷预测,2001年由欧洲的EUNITE（欧洲网络智能技术）举行了世界范围内电力负荷预测比赛，比赛时间为4个月。

比赛任务为：

根据提供的1997和1998年的每日电力负荷值（每30分钟记录一次）、连续两年每天的平均温度以及节日类型，预测1999年一月份每日电力负荷最大值,Chaos-SVM应用于电力负荷预测,比赛任务：

Predictor,1997、1998的电力负荷数据，每隔15分钟采集一次1997、1998两年的节日类型和日期1997、1998两年每日的平均温度,1月份每日的最大负荷值,LoadsoftheYears1997and1998,TemperatureoftheYears1997and1998,Chaos-SVM应用于电力负荷预测,21个国家，56个团队,Chaos-SVM应用于电力负荷预测,比赛结果,Chaos-LSSVM预测模型的建立,1.分析时间序列的混沌特性2.确定是否是混沌序列，如果是，则用AMI方法求取最佳时延3.用小波将原序列进行分解4.对每一层分解的信号分别用曹氏方法求取最佳嵌入维数5.根据求得的最佳时延和嵌入维数，构造输入输出向量，并分别用LSSVM进行预测6.将各层信号的重构作为最终预测结果,时间序列混沌特性的分析,1.原时间序列的最大Lyap