机器学习PLA算法.docx
《机器学习PLA算法.docx》由会员分享，可在线阅读，更多相关《机器学习PLA算法.docx（24页珍藏版）》请在冰豆网上搜索。
机器学习PLA算法
PLAandPOCKET
问题描述--------算法思想设计描述------伪代码-----复杂度分析---------编程-----上机调试--------实验分析------结论，本文是采用这样的顺序描述算法的。
本文所写算法对应于一个NP-Hard问题，主要采用近似求解算法和贪心算法的思想。
这对应于机器学习中BinaryClassification，PLA，PocketAlgorithm
问题描述：
银行发信用卡问题。
现有一群人，数量为N，（N很大），假设他们在一个银行中的登记记录数据我们已经得到。
对于每个人记录的数据有
（对应第i个人的信息，相应的
我们可以认为是这个人的一些个人数据的量化值，比如年龄、学历、收入、工作年限等等，他们会对应于一组数值如0.945440.428420.798330.16244-1对应于
）。
如果y是-1，则对应于银行没有给他发信用卡。
如果是y=1，则是发给了它信用卡。
现在由这样的一推数据如何得到一个函数，有这些训练集得到这个目标函数。
并用这个目标函数作用于对于一群待发信用卡的人作出判断，一边给银行提供发卡的依据。
具体数据见附录Q18Train.m为训练数据集，Q18TestData.m为待判断数据集，这里我们可以叫他测试数据集。
对于银行，他之前会设置一个发信用卡的门限值threshold.
算法描述和伪代码表述：
之前我们都是用PLA（perceptionlearningalgorithm）：
它是针对于线性可分的训练集的。
也就是这样的所有的数据，比如说是二维数据点，可以用一条直线将他们分成两派，一片是可发卡的数据，直线另一侧则是不可发卡数据。
将用户数据加权求和与门限值相比较，作差为正则发卡，为负则不发卡。
这里假设一个Hypothesisdatasets，每计算一次都是一个H，如果有错则修正，一直到所有的数据都没有错误，这样的H就是我们的未知的目标函数f。
对于h，
这里h可以化简一下，
PLA的算法描述是：
wt是类似于那条直线的法向量，（
）是一个人的数据记录
fort=0,1,2,3....
findamistakeofwtcalled（
）
trytocorrectthemistakeby
对于线性可分数据集PLA算法是收敛的证明：
，t是代表第t次得到的结果或者第t次所用的数值。
（1）
这里是单增的，如果从向量角度看，两个向量内积越大，如果排除其模值得快速增大，可以看做是其角度在不断的调整，逐渐变得同向。
（2）就是证明其模值变化有限。
（2）
这里可以认为每次增加的步长有限，同时也说明
两个向量的内积越来越大，不是因为其模值快速变化所致。
因此可以看出最终得到的Wt是收敛的（对于线性可分数据集）。
而且可以算出t的取值：
而且：
则
这是线性可分数据集的PLA终止时的T的次数表达式。
PLA算法对于线性可分的数据源是可以最后能得到目标函数的。
但是对于线性不可分的数据集，它不会自动的停止。
对于非线性不可分的数据集，如果对其分类，它将是一个NP-Hard问题。
这里的Pocket算法，则是一种近似算法，他是用贪心算法，每次将PLA修正的wt与pocket记录的pwt比较，对于所有数据集犯错最少的那个作为新的pwt，这样PLA一直进行，得到修正的值wt与pwt比较，如果wt的犯错少，则将pwt更新为wt。
如果进行的Pocket算法运行时间足够长，因此我们就可以找到一个算错尽可能少的pwt。
并以此来进行对于测试数据集的分类。
Pocket算法如果对于线性可分数据集，它会自动停止，并且得到一个wt，线性可分数据集，然后用于测试。
本文主要是采用pocket算法（）：
//%funpocket2.m
initializepocketweightspwt
fort=0,1,2,....
//%finda（random）mistakeofwtcalled（xn（t）,yn（t））
while!
flag
d<-（Maxnum-1）*rand（）+1;
//%X[d]representativethedrowdatas
x[d][1]=1,x[d][2..n]=X[d][1..n-1];
y=X[d][n],
ifsign（Wt'*x[d]）~=y
flag<-true;
//%trytocorrectthemistakeby
//%ifWt+1makesfewermistakesthanreplacepwtwithWt+1
iffunWtError（pwt,dataset）>funWtError（Wt+1,dataset）
pwt=Wt+1;
untilenoughiterationst=
stop.
returnpwt（asWpocket）
%对应于wn的训练集的错误概率计算
%funWtError.m
funWtError（wt1,dataset）
datasetmatrixnrows,mcols
xn[1]=1;
whilecount<=n
xn[2..m]=dataset[count][1..m-1];
yn=dataset[count][m];
ifsign（wn1'*xn）~=yn
errFlag<-=errFlag+1;
count<-=count+1;
reutrnerrFlag/n;
关于pocket算法的几点说明：
（1）对应于上述算法，在funpocket2.m中
initializepocketweightspwt
fort=0,1,2,....
//%finda（random）mistakeofwtcalled（xn（t）,yn（t））
查找一个随机的带有错误数据的Wt，这样随机找是很慢的可以改进一下，Wt，对应于这个法向量，先判断出相应有错误的数据集，然后再再从这里面进行随机，这样的查找更快些。
对应于程序中的实现是采用了这种方式。
而不是每次都随机选一行的数据，判断是不是有错，有错在更新，如果一直随机都是没错的那么就相当的耗费时间。
（2）pocket算对于线性不可分数据集是不会终止的，也就是说，他是一个NP问题。
如果数据集大体上是线性可分数据集，只有一部分点不可分，我们只需要运行足够长的时间，或者pwt进行一定数量的替换，用这种T次更新取代完全更新到正确的t次数的近似和每次遇到好的Wt+1都才用贪心的算法替代pwt，这样也能得到一个比较好的分线结果。
复杂度分析
对于近似算法解NP问题，这里的时间复杂度：
对于
，其时间复杂度为
，
finda（random）mistakeofwtcalled（xn（t）,yn（t））时间复杂度为
对应于wn的训练集的错误概率计算
总的时间复杂度：
，
，
为一个向量与另一个向量的乘积所用时间。
，
又是n的函数（一个多项式），
。
此时如果采用给出的伪代码中的随机选一个来判断数据对于Wt是否有误，这样就像是非确定算法，采用猜测的形式将所有的可能性随机的选一个，结果是YES/NO，NO时继续随机选取，猜算可以在多项式时间内完成；验算其实就计算的有限时间了
。
有限时，就是采用近似的算法，虽然并不一定能够得到一个全局的满足的Wt，但是对于绝大多数的点分类还是可以的，这就是我们想要的。
因此，近似的贪心算法思想的pocket算法其时间复杂度是多项式的函数，可以在时间多项式内完成。
代码编程（matlab实现）
%////////////////////////////////////////////////////////////////////////////////////////////////////
%FunRandArray.m
function[arr]=FunRandArray（Maxnum,repeatFlag）
%Array[maxnum],ifnotinput,therepeatflag=1
%repeatFlag=0%generatethethenaviecyclydataset
%repeatFlaf==1%,generatetherand,arrmayhavethesamedata
%repeatFlaf==2%generatethetheranddatasetvisit,
rand（'state',sum（100.*clock）*rand
（1））;
arr=（Maxnum-1）.*rand（1,Maxnum）+1;
arr1=ceil（arr（:
:
））;
flag=0;
arr=arr1;
%naturesequence
ifrepeatFlag==0
fori=1:
Maxnum
arr（i）=i;
end
elseifrepeatFlag==1
elseifrepeatFlag==2
%tochangeintothedifferentdata
AllData=zeros（1,Maxnum）;
fori=1:
Maxnum
ALLData（i）=i;
end
%///////////////////////////////////////////////////
%clearthesamedatainthearr
fori=1:
Maxnum
flag=0;
forj=1:
Maxnum
ifarr（i）==ALLData（j）
flag=1;
ALLData（j）=-1;
break;
end
end
ifflag==0
arr（i）=0;
end
end
%/////////////////////////////////////////////
%addthenoexistdatabutin1-400tothearr
fori=1:
Maxnum
ifarr（i）==0
forj=1:
Maxnum
ifALLData（j）~=-1
arr（i）=ALLData（j）;
ALLData（j）=-1;
break;
end
end
end
end
end
end
end
%///////////////////////////////////////////////////////////////////////////////////////////////////
%funWtError.m
function[errDataSetLine,errPossablitiy]=funWtError（Wn1,DataSet）
[nm]=size（DataSet）;
errFlag1=0;
count=1;
xn=ones（1,m）;
errDataSetLineTemp=zeros（1,n）;
whilecount<=n
xn（1,2:
m）=DataSet（count,1:
m-1）;
yn1=xn*Wn1';
ifyn1==0%==not==
yn1=-1;
end
ifsign（yn1）~=DataSet（count,m）%sign（）function
errFlag1=errFlag1+1;
errDataSetLineTemp（1,errFlag1）=count;
end
count=count+1;
end
errDataSetLine=zeros（1,errFlag1）;
errDataSetLine（1,:
）=errDataSetLineTemp（1,1:
errFlag1）;
errPossablitiy=errFlag1/n;
%//////////////////////////////////////////////////////////////////////////////////////////////////////
%funWwtBest
function[pockWn,flag,errPossablitiy]=funWwtBest（Wn1,Wn2,DataSet）
[nm]=size（DataSet）;
errFlag1=0;
errFlag2=0;
flag=0;%0Wn1,1Wn2
count=1;
xn=ones（1,m）;
whilecount<=n
xn（1,2:
m）=DataSet（count,1:
m-1）;
yn1=xn*Wn1';
yn2=xn*Wn2';
ifyn1==0%==not==
yn1=-1;
end
ifyn2==0
yn2=-1;
end
%thisiserrorbecausethesignfunctionnotuse.
%ifyn1~=DataSet（count,m）
ifsign（yn1）~=DataSet（count,m）
errFlag1=errFlag1+1;
end
%ifyn2~=DataSet（count,m）
ifsign（yn2）~=DataSet（count,m）
errFlag2=errFlag2+1;
end
count=count+1;
end
errPossablitiy=errFlag1/n;
pockWn=Wn1;
iferrFlag1>errFlag2
pockWn=Wn2;
flag=1;
errPossablitiy=errFlag2/n;
end
%/////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
%funPocket.m
function[pockWn,Wn,count,updateTTs,errposs]=funPocket（FData,FunRandArray,funWwtBest,updateTimes,WnrndFlag,DatasetFlag,nn）
%parametersannotaion
%totheinputparametersrequest
ifnargin==0|nargin==1|nargin==2
error（'parametersnumberlacks'）;
end
ifnargin==3
updateTimes=200;
WnrndFlag=0;
DatasetFlag=0;
n=1;
end
ifnargin>7
error（'inputparameterstoolarger'）;
end
%initial
dataset1=FData;
[nm]=size（dataset1）;
Wn=zeros（1,m）;
Wn（1,1）=0;
ifWnrndFlag==1
rand（'state',sum（100*clock）*rand
（1））;
Wn（2,m）=rand（1,m-1）;
end
%trainingsetvisitingsequence
%ResultRand=zeros（1,n）;
%ResultRand=FunRandArray（n,DatasetFlag）;
xn=ones（1,m）;
count=0;%countnumbers
noequalCount=0;
%pocketWn
pockWn=zeros（1,m）;
updateTTs=0;
errposs=0;%attheendthepockWn'serrorpossiablity
filename1=strcat（'aa_',num2str（updateTimes*rand
（1）））;
filename1=strcat（filename1,'.txt'）
ffile1=fopen（filename1,'w'）;
whileupdateTTs%fromtheerrorDataSet（someWn）randselectaXi
%errDataSetLineisarr[1....errFlag],
%arr[1]=thefirstnumberofXinotsatisfyingyn=xn*Wn'
%thenumbercorresponingtheDataSet'slinelabel
[errDataSetLine,errPossTemp]=funWtError（Wn,dataset1）;
[nerr,merr]=size（errDataSetLine）;
rand（'state',sum（100*clock）*rand
（1））;
num=ceil（（merr-1）*rand
（1）+1）;
xn（2:
m）=dataset1（errDataSetLine（1,num）,1:
m-1）;
ytemp=xn*Wn';
ifytemp==0
ytemp=-1;
end
signtemp=sign（ytemp）;
%signtemp,dataset1（ResultRand（num）,m）
%num,xn,xn*Wn',signtemp,dataset1（num,m）
%ifsigntemp~=dataset1（ResultRand（num）,m）
%num
ifsigntemp~=dataset1（errDataSetLine（1,num）,m）
%Wn（1,1:
m）=Wn（1,1:
m）+nn.*xn（1,1:
m）*dataset1（ResultRand（num）,m）;
Wn（1,1:
m）=Wn（1,1:
m）+nn*dataset1（errDataSetLine（1,num）,m）.*xn（1,1:
m）;
%a='before',Wn,pockWn
[tempWn,flag,errposs]=funWwtBest（Wn,pockWn,dataset1）;
%a='after',Wn,tempWn
ifflag==0
updateTTs=updateTTs+1;
pockWn=tempWn;
fprintf（ffile1,'%s\t\t','updateTTs'）;
fprintf（ffile1,'%d\t\t\t\r\n',updateTTs）;
fprintf（ffile1,'%s\t\t','pocketWn'）;
fprintf（ffile1,'%f\t\t\t\r\n',pockWn）;
updateTTs
%else
%Wn=pockWn;
end
%pockWn
%count=1;
end
end
fclose（ffile1）;
%pockWn
%/////////////////////////////////////////////////////////////////////////////////////////////////////////
%pocketTrainTest.m
function[errAverage]=pocketTrainTest（LoopNum,FDataTrain,FDTest,FunRandArray,funWwtBest,funWtError,updateTimes,WnrndFlag,DatasetFlag,nn）
FData=load（FDataTrain）;%%
[nm]=size（FData）;
FDataTest=load（FDTest）;
avgerr=0;
errPossArr=zeros（1,LoopNum）;
%pockWn=zeros（LoopNum,m）;
pockWnTemp=zeros（1,m）;
Wn=zeros（1,m）;
fori=1:
1:
LoopNum
[pockWnTemp,Wn,count,updatenum,errposs]=funPocket（FData,FunRandArray,funWwtBest,updateTimes,WnrndFlag,DatasetFlag,nn）;
[errDataSetLine,errPossTemp]=funWtError（pockWnTemp,FDataTest）;
%errPossTemp
avgerr=（avgerr*（i-1）+errPossTemp）/i
%errPossTemp
errPossArr（1,i）=errPossTemp;
end
errAverage=mean（errPossArr（1,:
））;
%///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
%pocketTrainTest.m[errAverage]=pocketTrainTest（LoopNum,FDataTrain,FDTest,FunRandArray,funWwtBest,funWtError,updateTimes,WnrndFlag,DatasetFlag,nn）
FData=load（FDataTrain）;%%
[nm]=size（FData）;
FDataTest=load（FDTest）;
avgerr=0;
errPossArr=zeros（1,LoopNum）;
pockWnTemp=zeros（1,m）;
Wn=zeros（1,m）;
filename=strcat（'aa',num2str（updateTimes））;
filename=strcat（filename,'.txt'）
ffile=fopen（filename,'w'）;
%filename
fprintf（ffile,'%s\t\t','i'）;
fprintf（ffile,'%s\t\t','pockWnTemp'）;
fprintf（ffile,'%s\t\t\t\r\n','avgerr'）;
fori=1:
1:
LoopNum
i
[pockWnTemp,Wn,count,updatenum,errposs]=funPocket（FData,FunRandArray,funWwtBest,
升级会员 