基于支持向量机的金融时间序列预测_精品文档.pdf

1、第 14 卷 第 2 期2005 年4 月系 统 工 程 理 论 方 法 应 用SYSTEMS ENGINEERING-T HEORY METHODOLOGY APPLICATIONSVol.14 No.2Apr.2005文章编号:1005-2542(2005)02-0176-06基于支持向量机的金融时间序列预测杨一文,杨朝军(上海交通大学 安泰管理学院 证券金融研究所,上海 200052)【摘要】基于数据的机器学习就是由观测样本数据得出目前尚不能通过原理分析得到的规律,利用其对未来数据进行预测。神经网络以其优越的函数逼近性能广泛用于建立时间序列过去与未来数据之间某种确定的映射关系,实现预测。

2、首先分析了以经验风险最小化为准则的神经网络的局限性,以及针对此提出的结构风险最小化准则的优点;其次引出支持向量机;最后利用支持向量机对上海证券综合指数序列趋势做较准确的多步预测。关键词:时间序列预测;支持向量机;证券市场中图分类号:TP 183;F 830文献标识码:AFinancial Time Series Forecasting Based onSupport Vector MachineYAN G Yi-wen,YAN G Zhao-jun(Security Investment Research Institute,Antai School of Managementm,Shangh

3、ai Jiaotong Univ.,Shanghai 200052,China)【Abstract】One of purposes of data-driven machine learning is to find out the regularities,which cant bediscovered with principle analysis,to forecast the future data.With excellent ability of function approxi-mation,neural networks are widely used to develop t

4、he map between be past and the future data to carryout the predictions.First,we analyze the shortcomings of the neural networks based on the rule of empiri-cal risk minimization(ERM),and introduce the rule of structural risk minimization(SRM)to overcome theshortcomings of ERM.Second,vector support m

5、achine(SVM),an algorithm implementing SRM,is in-troduced.Finally,multi-step predictions of the trend of Shanghai Security Composite Index are achievedwith acceptable accuracy.Key words:time series prediction;support vector machine;stock market收稿日期:2004-07-13基金项目:中国博士后科学研究基金(第 34 批,2003)作者简介:杨一文(1962

6、-),男,博士后。主要从事金融数据挖掘等研究。证券市场是现实生活中典型的复杂系统,之所以复杂,不仅是影响市场的因素众多,而且它们之间的相互作用是非线性和时变的。系统内部这些相互作用的因素或状态变量之间的关系也许永远都是一个迷,即难以建立完整的描述市场的动力方程。如果将股票价格序列看作系统的输出,那么可以缓解无法建立市场动力市场方程的遗憾。因为作为系统的输出,价格序列毕竟是影响市场各种因素相互作用的结果,因此,价格序列必定载有关于系统状态变量的信息。本文利用体现统计学理论思想的支持向量机实现金融时间序列的预测,即证券价格变动趋势的多步预测。1概述xt是一金融时间序列,时间序列预测就是构造映射关系

7、f:RmRxt+S+P=f(xt+S+xt+S-1+xt+S-m+1)P 1,m 1为叙述方便,将上述映射关系表示成系统输出 yi与系统状态或输入 xi之间的关系,即 yi=f(xi),yiR,xiRm。T akens 定理 1保证,在一定条件下,对于任意时间延迟 S与某些 m2D+1(系统轨迹坐落在分型维为 D 的流型上),存在光滑映射 f:RmR。神经网络为逼近这一非线性影射关系提供了很好的选择,如,对于多层感知机和径向基函数网络,如果给定足够多的神经元,可以对任意连续(光滑)函数以任意精度逼近 2,3。但是神经网络也存在严重的局限,如隐层节点数的确定、局部最优,尤其是网络的训练以训练误差

8、最小为原则,极大限制了网络的推广能力。具体说明如下,预测是基于 y 与x 之间存在某种未知的依赖关系这一基本假设,即存在一个未知的联合概率分布 P(x,y)。基于机器学习的时间序列预测就是根据 n 个独立同分布的观测样本(x1,y1),(x2,y2),(xn,yn)在函数集S=f(x,w),w8 中寻求一个最优函数f(x,w0),使预期的期望风险或实际风险R(w)=L(y,f(x,w)dP(x,v)(1)最小。其中,L(y,f(x,w)为用f(x,w)对 y 进行预测造成的损失。然而,由于P(x,y)未知,仅仅利用样本信息无法直接计算期望风险的最小化。因此,神经网络(包括传统优化方法)利用经验

9、风险Remp(w)=1N6Ni=1L(yi-f(xi,w)=1N6Ni=1(yi-f(xi,w)2(2)最小化来替代实际风险最小,即经验风险最小准则。值得指出的是 4,神经网络及其他传统优化方法利用经验风险 Remp最小代替实际风险 R 最小仅是直观上的考虑,缺乏坚实的理论依据。Remp(w)和R(w)都是 w的函数,大数定理只能保证当样本数趋于无穷大时,Remp(w)只是在概率意义上趋近于R(w),并不能保证使 Remp(w)最小的 w*同时也使R(w)最小(最典型的情况就是神经网络的过学习问题),更不能保证 Remp(w)的最小值与 R(w)的最小值彼此接近。另外,即使样本数足够大,可以用

10、Remp(w)替代 R(w),但仍无法保证在样本数有限时这种替代是有效的。由于真实风险求解的困难性,人们多年来只能致力于解决经验风险最小化问题。那么经验风险与期望风险之间究竟存在着怎样的关系呢?这正是统计学习理论 4所研究的问题。如果损失函数 L(y,f(x,w)为一般的有界非负实函数,即 0L(y,f(x,w)B,则经验风险与实际风险之间至少以概率 1-G满足如下关系:R(w)Remp(w)+BE21+1+4Remp(w)BE=Remp(w)+5(n/h)(3)其中,E=A1h(ln(a2n/h)+1)-ln(G/4)n(4)0 A14、0 A22;5 为置信范围,随样本数 n 增加而单调减

11、少,随函数集 S=f(x,w),w8 的 VC维h 增加而单调增加。对于一个特定问题,样本数 n是固定的,因此应使函数的 VC 维 h 尽量小,但是具有较小 V C 维的网络结构相对简单,即隐节点数目不是“足够多”,使得网络的逼近函数能力下降,这就是为什么复杂网络(n/h 较小)虽然具有很小的训练误差,但推广能力差(即过学习)的根本原因。由式(3),经验风险最小并不一定意味着实际风险也最小。统计学习理论 4与神经网络之间的一个关键区别是决策算法的优化准则,后者采用经验风险最小化准则,实际上是训练误差最小化;而本文采用的基于统计学习理论的支持向量机则是最小化结构风险,在经验风险与置信范围两者间进

12、行权衡,即式(3)左端最小化,最终降低真实风险,等价于推广误差最小。支持向量机较传统方法具有小样本学习特性,全局最优和推广能力强等突出优点。金融市场是一个非常复杂的非线性系统,价格变化的统计特性是非平稳的。如果用传统的神经网络(多层感知机)预测证券价格的变动趋势,由于问题的复杂性,网络结构也要相应复杂一些,这势必要求较多的样本(以保持式(3)中 h/n 较小),否则容易导致过学习。而样本越多,其间统计特性的变化越剧烈,反过来又造成网络学习的困难。因此,采用具有小样本学习特性的算法是非常必要的。2结构风险最小化准则由上一节的分析,必须使式(3)右端的经验风险和 5 同时最小才能达到实际风险最小化

13、的目的。在神经网络中,网络结构和训练算法一经选定,5 也随之确定,然后最小化经验风险 Remp。只有在网络结构和算法复杂度合适的情况下,才能取得较好的结果。但由于缺乏对 5 的了解,造成神经网络的使用者对技巧过分依赖。Vapnik 4提出了一种所谓结构风险最小化策略,通过选择合适的 VC 维使 Remp和 5 同177第 2 期杨一文,等:基于支持向量机的金融时间序列预测时最小化。首先将函数集 S=f(x,w),w8 分解为如下形式的函数子集结构:S1 S2 Sk m,xRm,U(x)Rp,U(x)是输入空间Rm中的向量 x 在特征空间 Rp中的像。在特征空间 Rp中沿用线性情况时的优化方法(

14、式(10),即利用特征矢量U(xi)=U1(xi),U2(xi),Up(xi)Ti=1,2,n在高维空间 Rp构造最优分类超平面。因此将内积运算 xx 替换为 U(x)U(x),得二次型优化问题:max W(A,A*)=-Ev6ni=1(A*i+Ai)+6ni=1yi(Ai-A*i)-178系统工程理论方法应用第 14 卷126ni,j=1(A*i-Ai)(A*j-aj)K(xi,xj)(13)s.t.6ni=1A*i=6ni=1Aii=1,2,n0 A*i C;0 Ai C其中,K(xi,xj)是内积核,K(xi,xj)=U(xi)U(xj)=6pk=1Uk(xi)Uk(xj)i,j=1,2

15、,n(14)解得最优超平面系数w*=6ni=1(A*i-Ai)U(xi)b*=1nsv6nsvi=1(yi-w*U(xi)+Evsign(A*i-Ai)A*i-Ai 0(15)最终得回归函数ydi=w*U(xi)+b*=6nj=1(A*j-Aj)K(xj,xi)+b*f(xi)(16)实际上没有必要知道非线性变换 U()的具体形式,当然也无须进行这种变换。只要选择适当的内积核 K(,),使其具有式(13)的展开形式即可。泛函分析理论的 Mercer 定理 5给出了函数具有式(14)展开形式的充要条件。值得指出的是,虽然特征空间Rp的维数往往较高,但不必担心陷入所谓维数灾难。因为在最优超平面的求

16、解过程中只涉及内积运算,在变换空间中仍能利用原空间的向量计算内积,因此计算复杂度并无多少增加。4上证综合指数序列的多步预测股票价格预测之所以困难,是因为不确定的内生、外生影响因素众多,从而导致价格的变化充满不确定性。由于影响因素的不确定性,仅由历史价格提供的预测信息就显不足,完全依靠历史价格预测未来价格是困难的。T akens 定理 1保证,在一定条件下,时间序列的过去值组成的矢量与未来值之间存在光滑影射。就市场常识而言,这种光滑映射在股票价格序列中显然是不存在的。一种解决方法是引入其他市场信息,如成交量、各种技术指标;一种是降低预测的要求。前者没有一定的规律可循,多凭预测者的经验。本文采用后一种方法,改价格序列预测为价格序列趋势预测。一则预测相对容易;二则不失实际意义。通过如下方法得到价格序列的趋势,首先对时间序列进行小波变换,然后将高频部分置零,再重构,得到趋势序列。不严格地说,趋势序列中存在上文所述的光滑映射。改变小波分解的级数,可调整趋势序列的光滑程度和原始序列的吻合程度。之所以不采用常用的移动平均方法,是因为该方法不是零相位滤波,不可避免地有滞后现象。窗口越宽,滞后越严重。随