实验三决策树算法实验实验报告.docx
《实验三决策树算法实验实验报告.docx》由会员分享,可在线阅读,更多相关《实验三决策树算法实验实验报告.docx(11页珍藏版)》请在冰豆网上搜索。
![实验三决策树算法实验实验报告.docx](https://file1.bdocx.com/fileroot1/2023-1/30/928c3909-8298-4d57-8edd-b2f67e5fb729/928c3909-8298-4d57-8edd-b2f67e5fb7291.gif)
实验三决策树算法实验实验报告
实验三决策树算法实验
一、实验目的:
熟悉和掌握决策树的分类原理、实质和过程;掌握典型的学习算法和实现技术。
二、实验原理:
决策树学习和分类.
三、实验条件:
四、实验内容:
1根据现实生活中的原型自己创建一个简单的决策树。
2要求用这个决策树能解决实际分类决策问题。
五、实验步骤:
1、验证性实验:
(1)算法伪代码
算法Decision_Tree(data,AttributeName)输入由离散值属性描述的训练样本集data;候选属性集合AttributeName。
输出一棵决策树。
(1)创建节点N;
(2)Ifsamples都在同一类C中then(3)返回N作为叶节点,以类C标记;(4)Ifattribute_list为空then
(5)返回N作为叶节点,以samples中最普遍的类标记;//多数表决(6)选择attribute_list中具有最高信息增益的属性test_attribute;(7)以test_attribute标记节点N;
(8)Foreachtest_attribute的已知值v//划分samples;
(9)由节点N分出一个对应test_attribute=v的分支;
(10令Sv为samples中test_attribute=v的样本集合;//一个划分块(11)IfSv为空then
(12)加上一个叶节点,以samples中最普遍的类标记;
(13)Else加入一个由Decision_Tree(Sv,attribute_list-test_attribute)返回节点值。
(2)实验数据预处理
Age:
30岁以下标记为“1”;30岁以上50岁以下标记为“2”;50岁以上标记为“3”。
Sex:
FEMAL----“1”;MALE----“2”
Region:
INNER CITY----“1”;TOWN----“2”; RURAL----“3”; SUBURBAN----“4” Income:
5000~2万----“1”;2万~4万----“2”;4万以上----“3” Married Children Car
Mortgage
Pep:
以上五个条件,若为“是”标记为“1”,若为“否”标记为“2”。
Agesexregionincomemarriedchildrencarmortgagepep
121121122
121122221
214121221
211112222
121112222
121121211
212112112
211121121
213122121
212221222
221222211
212211211
221212212
111212221
321211122
111211121
113222121
312212221
323311121
322312112
313311221
321312122
321311111
311312112
313312222
324312211
313322112
(3)Matlab语句:
[TreeRulesMatrix]=DecisionTree(DataSet,AttributName);
六、实验结果:
实验程序:
function[TreeRulesMatrix]=DecisionTree(DataSet,AttributName)
%输入为训练集,为离散后的数字,如记录1:
11321;
%前面为属性列,最后一列为类标
ifnargin<1
error('请输入数据集');
else
ifisstr(DataSet)
[DataSetAttributValue]=readdata2(DataSet);
else
AttributValue=[];
end
end
ifnargin<2
AttributName=[];
end
Attributs=[1:
size(DataSet,2)-1];
Tree=CreatTree(DataSet,Attributs);
disp([char(13)'TheDecisionTree:
']);
showTree(Tree,0,0,1,AttributValue,AttributName);
Rules=getRule(Tree);
RulesMatrix=zeros(size(Rules,1),size(DataSet,2));
fori=1:
size(Rules,1)
rule=cell2struct(Rules(i,1),{'str'});
rule=str2num([rule.str([1:
(find(rule.str=='C')-1)])rule.str((find(rule.str=='C')+1):
length(rule.str))]);
forj=1:
(length(rule)-1)/2
RulesMatrix(i,rule((j-1)*2+1))=rule(j*2);
end
RulesMatrix(i,size(DataSet,2))=rule(length(rule));
end
end
functionTree=CreatTree(DataSet,Attributs)%决策树程序输入为:
数据集,属性名列表
%disp(Attributs);
[SValRecords]=ComputEntropy(DataSet,0);
if(S==0)%当样例全为一类时退出,返回叶子节点类标
fori=1:
length(ValRecords)
if(length(ValRecords(i).matrix)==size(DataSet,1))
break;
end
end
Tree.Attribut=i;
Tree.Child=[];
return;
end
if(length(Attributs)==0)%当条件属性个数为0时返回占多数的类标
mostlabelnum=0;
mostlabel=0;
fori=1:
length(ValRecords)
if(length(ValRecords(i).matrix)>mostlabelnum)
mostlabelnum=length(ValRecords(i).matrix);
mostlabel=i;
end
end
Tree.Attribut=mostlabel;
Tree.Child=[];
return;
end
fori=1:
length(Attributs)
[Sa(i)ValRecord]=ComputEntropy(DataSet,i);
Gains(i)=S-Sa(i);
AtrributMatric(i).val=ValRecord;
end
[maxvalmaxindex]=max(Gains);
Tree.Attribut=Attributs(maxindex);
Attributs2=[Attributs(1:
maxindex-1)Attributs(maxindex+1:
length(Attributs))];
forj=1:
length(AtrributMatric(maxindex).val)
DataSet2=[DataSet(AtrributMatric(maxindex).val(j).matrix',1:
maxindex-1)DataSet(AtrributMatric(maxindex).val(j).matrix',maxindex+1:
size(DataSet,2))];
if(size(DataSet2,1)==0)
mostlabelnum=0;
mostlabel=0;
fori=1:
length(ValRecords)
if(length(ValRecords(i).matrix)>mostlabelnum)
mostlabelnum=length(ValRecords(i).matrix);
mostlabel=i;
end
end
Tree.Child(j).root.Attribut=mostlabel;
Tree.Child(j).root.Child=[];
else
Tree.Child(j).root=CreatTree(DataSet2,Attributs2);
end
end
end
function[EntropyRecordVal]=ComputEntropy(DataSet,attribut)%计算信息熵
if(attribut==0)
clnum=0;
fori=1:
size(DataSet,1)
if(DataSet(i,size(DataSet,2))>clnum)%防止下标越界
classnum(DataSet(i,size(DataSet,2)))=0;
clnum=DataSet(i,size(DataSet,2));
RecordVal(DataSet(i,size(DataSet,2))).matrix=[];
end
classnum(DataSet(i,size(DataSet,2)))=classnum(DataSet(i,size(DataSet,2)))+1;
RecordVal(DataSet(i,size(DataSet,2))).matrix=[RecordVal(DataSet(i,size(DataSet,2))).matrixi];
end
Entropy=0;
forj=1:
length(classnum)
P=classnum(j)/size(DataSet,1);
if(P~=0)
Entropy=Entropy+(-P)*log2(P);
end
end
else
valnum=0;
fori=1:
size(DataSet,1)
if(DataSet(i,attribut)>valnum)%防止参数下标越界
clnum(DataSet(i,attribut))=0;
valnum=DataSet(i,attribut);
Valueexamnum(DataSet(i,attribut))=0;
RecordVal(DataSet(i,attribut)).matrix=[];%将编号保留下来,以方便后面按值分割数据集
end
if(DataSet(i,size(DataSet,2))>clnum(DataSet(i,attribut)))%防止下标越界
Value(DataSet(i,attribut)).classnum(DataSet(i,size(DataSet,2)))=0;
clnum(DataSet(i,attribut))=DataSet(i,size(DataSet,2));
end
Value(DataSet(i,attribut)).classnum(DataSet(i,size(DataSet,2)))=Value(DataSet(i,attribut)).classnum(DataSet(i,size(DataSet,2)))+1;
Valueexamnum(DataSet(i,attribut))=Valueexamnum(DataSet(i,attribut))+1;
RecordVal(DataSet(i,attribut)).matrix=[RecordVal(DataSet(i,attribut)).matrixi];
end
Entropy=0;
forj=1:
valnum
Entropys=0;
fork=1:
length(Value(j).classnum)
P=Value(j).classnum(k)/Valueexamnum(j);
if(P~=0)
Entropys=Entropys+(-P)*log2(P);
end
end
Entropy=Entropy+(Valueexamnum(j)/size(DataSet,1))*Entropys;
end
end
end
functionshowTree(Tree,level,value,branch,AttributValue,AttributName)
blank=[];
fori=1:
level-1
if(branch(i)==1)
blank=[blank'|'];
else
blank=[blank''];
end
end
blank=[blank''];
if(level==0)
blank=['(TheRoot):
'];
else
ifisempty(AttributValue)
blank=[blank'|_____'int2str(value)'______'];
else
blank=[blank'|_____'value'______'];
end
end
if(length(Tree.Child)~=0)%非叶子节点
ifisempty(AttributName)
disp([blank'Attribut'int2str(Tree.Attribut)]);
else
disp([blank'Attribut'AttributName{Tree.Attribut}]);
end
ifisempty(AttributValue)
forj=1:
length(Tree.Child)-1
showTree(Tree.Child(j).root,level+1,j,[branch1],AttributValue,AttributName);
end
showTree(Tree.Child(length(Tree.Child)).root,level+1,length(Tree.Child),[branch(1:
length(branch)-1)01],AttributValue,AttributName);
else
forj=1:
length(Tree.Child)-1
showTree(Tree.Child(j).root,level+1,AttributValue{Tree.Attribut}{j},[branch1],AttributValue,AttributName);
end
showTree(Tree.Child(length(Tree.Child)).root,level+1,AttributValue{Tree.Attribut}{length(Tree.Child)},[branch(1:
length(branch)-1)01],AttributValue,AttributName);
end
else
ifisempty(AttributValue)
disp([blank'leaf'int2str(Tree.Attribut)]);
else
disp([blank'leaf'AttributValue{length(AttributValue)}{Tree.Attribut}]);
end
end
end
functionRules=getRule(Tree)
if(length(Tree.Child)~=0)
Rules={};
fori=1:
length(Tree.Child)
content=getRule(Tree.Child(i).root);
%disp(content);
%disp([num2str(Tree.Attribut)','num2str(i)',']);
forj=1:
size(content,1)
rule=cell2struct(content(j,1),{'str'});
content(j,1)={[num2str(Tree.Attribut)','num2str(i)','rule.str]};
end
Rules=[Rules;content];
end
else
Rules={['C'num2str(Tree.Attribut)]};
end
end