词法分析器实验报告.docx
《词法分析器实验报告.docx》由会员分享,可在线阅读,更多相关《词法分析器实验报告.docx(16页珍藏版)》请在冰豆网上搜索。
词法分析器实验报告
王超-计科1-38-词法分析器实验报告
词法分析器设计
一、实验目的:
对C语言的一个子集设计并实现一个简单的词法分析器,掌握利用状态转换图设计词法分析器的基本方法。
利用该词法分析器完成对源程序字符串的词法分析。
输出形式是源程序的单词符号二元式的代码,并保存到文件中。
二、实验内容:
1.设计原理
词法分析的任务:
从左至右逐个字符地对源程序进行扫描,产生一个个单词符号。
理论基础:
有限自动机、正规文法、正规式
词法分析器(LexicalAnalyzer)又称扫描器(Scanner):
执行词法分析的程序
2.词法分析器的功能和输出形式
功能:
输入源程序、输出单词符号
程序语言的单词符号一般分为以下五种:
关键字、标识符、常数、运算符,界符
3.输出的单词符号的表示形式:
单词种别用整数编码,关键字一字一种,标识符统归为一种,常数一种,各种符号各一种。
4.词法分析器的结构
5.状态转换图实现
三、程序设计
1.总体模块设计
/*用来存储目标文件名*/
stringfile_name;
/*提取文本文件中的信息。
*/
stringGetText();
/*获得一个单词符号,从位置i开始查找。
并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。
*/
stringGetWord(stringstr,inti,int&j);
/*这个函数用来除去字符串中连续的空格和换行
intDeleteNull(stringstr,inti);
/*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/
boolIsBoundary(stringstr,inti);
/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/
boolIsOperation(stringstr,inti);
/*此函数将一个pair数组输出到一个文件中*/
voidOutFile(vector>v);
/*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/
vector>analyst(vectorvec);
/*此函数判断传递的参数是否为关键字,是的话,返回真,反之返回假*/
boolIsKey(stringstr);
2.各模块设计
(1).首先根据上面单词符号表及ID和NUM的正规定义式,构造出状态转换图;
(2).定义相关的变量和数据结构。
关键字作为特殊标识符处理,把它们预先安排在一张表格中(称为关键字表),当扫描程序识别出标识符时,查关键字表。
如能查到匹配的单词,则该单词为关键字,否则为一般标识符。
关键字表为一个字符串数组,其描述如下:
charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″};
用以存放单词符号二元式的数据结构可如下定义:
classWord_Analyzer
{
public:
charContent[MAXLENGTH];
intval;
voidprint();
};
(3).按照编译程序一遍扫描的要求,把词法分析器Scaner作为一个独立的子程序来设计,通过对Scaner的反复调用识别出所有的单词符号;
(4).当Scaner识别出一个单词符号时,则将该单词符号的二元式写入到输出文件中。
若Scaner无法识别出一个单词符号时,则调用错误处理程序PrintError,显示当前扫描到的字符及其所在行、列位置,并跳过该字符重新开始识别单词符号。
四、程序代码
#include
#include
#include
#include
usingnamespacestd;
/*用来存储目标文件名*/
stringfile_name;
/*提取文本文件中的信息。
*/
stringGetText();
/*获得一个单词符号,从位置i开始查找。
//并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。
*/
stringGetWord(stringstr,inti,int&j);
/*这个函数用来除去字符串中连续的空格和换行
//第一个参数为目标字符串,第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/
intDeleteNull(stringstr,inti);
/*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/
boolIsBoundary(stringstr,inti);
/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/
boolIsOperation(stringstr,inti);
/*此函数将一个pair数组输出到一个文件中*/
voidOutFile(vector>v);
/*次函数将参数str,digit添加到temp中*/
voidadd(stringstr,intdigit,vector>temp);
/*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/
vector>analyst(vectorvec);
/*此函数判断传递的参数是否为关键字,是的话,返回真,反之返回假*/
boolIsKey(stringstr);
intmain()
{
cout<<"*********************************************************\n";
cout<<"*************编译原理课程设计--词法编译器ver1.0*********\n";
cout<<"*********************************************************\n";
cout<stringcom1="";
stringcom2="\n";
stringfileline=GetText();
intbegin=0,end=0;
vectorarray;
do
{
begin=DeleteNull(fileline,begin);
stringnowString;
nowString=GetWord(fileline,begin,end);
if(end==-1)
break;
if(nowSpare(com1)&&nowSpare(com2))
array.push_back(nowString);
begin=end+1;
}while(true);
vector>mid_result;
mid_result=analyst(array);
OutFile(mid_result);
cout<<"*********************************************************\n";
cout<<"*程序已完成词法分析,分析结果已经存储在文件"<cout<<"*********************************************************\n";
cout<<"感谢使用,谢谢再见!
"<system("pause");
return0;
}
/*提取文本文件中的信息*/
stringGetText()
{
stringfile_name1;
cout<<"请输入源文件名(包括路径和后缀名):
";
cin>>file_name1;
ifstreaminfile(file_name1.c_str(),ios:
:
in);
if(!
infile)
{
cerr<<"无法打开文件!
"<exit(-1);
}
cout<charf[1000];
infile.getline(f,1000,EOF);
infile.close();
printf(f);
cout<returnf;
}
/*获得一个单词符号,从位置i开始查找。
//并且有一个引用参数j,用来返回这个单词最后一个字符在原字符串的位置。
*/
stringGetWord(stringstr,inti,int&j)
{
stringno_use("(){},; \n+=*/-<>\"");
j=str.find_first_of(no_use,i);
if(j==-1)
return"";
if(i!
=j)
j--;
returnstr.substr(i,j-i+1);
}
/*这个函数用来除去字符串中连续的空格和换行
//第一个参数为目标字符串,第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/
intDeleteNull(stringstr,inti)
{
for(;;i++)
if(str[i]!
=''&&str[i]!
='\n')
returni;
}
/*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/
boolIsBoundary(stringstr,inti)
{
intt;
chararr[7]={',',';','{','}','(',')',':
'};
for(t=0;t<7;t++)
if(str[i]==arr[t])
returntrue;
returnfalse;
}
/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/
boolIsOperation(stringstr,inti)
{
intt;
chararr[8]={'+','-','*','/','=','<','>','&'};
for(t=0;t<8;t++)
if(str[i]==arr[t])
returntrue;
returnfalse;
}
/*此函数将一个个字符串数组输出到一个文件中*/
voidOutFile(vector>v)
{
cout<<"请输入目标文件名(包括路径和后缀名):
";
cin>>file_name;
ofstreamoutfile(file_name.c_str(),ios:
:
out);
if(!
outfile)
{
cerr<<"无法打开文件!
"<exit(-1);
}
cout<inti;
for(i=0;i{
outfile<<"<"<"<cout<<"<"<"<}
outfile<<"\n\n*********************************\n";
outfile.close();
return;
}
/*此函数判断传递的参数是否为关键字,是的话,返回真,反之返回假*/
boolIsKey(stringstr)
{
stringp[7]={"main","int","char","if","else","for","while"};
vectorppp(p,p+7);
intu;
for(u=0;uif(!
pare(ppp[u]))
returntrue;
returnfalse;
}
/*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/
vector>analyst(vectorvec)
{
vector>temp;
inti;
for(i=0;i{
if(vec[i].size()==1)
{
if(vec[i]==">"&&vec[i+1]=="=")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(37,jk);
temp.push_back(pp);
continue;
}
if(vec[i]=="<"&&vec[i+1]=="=")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(38,jk);
temp.push_back(pp);
continue;
}
if(vec[i]=="="&&vec[i+1]=="=")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(39,jk);
temp.push_back(pp);
continue;
}
if(vec[i]=="!
"&&vec[i+1]=="=")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(40,jk);
temp.push_back(pp);
continue;
}
if(vec[i]=="&"&&vec[i+1]=="&")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(42,jk);
temp.push_back(pp);
continue;
}
if(vec[i]=="|"&&vec[i+1]=="|")
{
stringjk=vec[i];
jk.append(vec[++i],0,1);
pairpp(43,jk);
temp.push_back(pp);
continue;
}
if(IsBoundary(vec[i],0))
{
if(vec[i]==",")
{
pairpp1(32,vec[i]);
temp.push_back(pp1);
}
if(vec[i]==";")
{
pairpp2(34,vec[i]);
temp.push_back(pp2);
}
if(vec[i]=="{")
{
pairpp3(30,vec[i]);
temp.push_back(pp3);
}
if(vec[i]=="}")
{
pairpp4(31,vec[i]);
temp.push_back(pp4);
}
if(vec[i]=="(")
{
pairpp5(26,vec[i]);
temp.push_back(pp5);
}
if(vec[i]==")")
{
pairpp6(27,vec[i]);
temp.push_back(pp6);
}
if(vec[i]==":
")
{
pairpp7(33,vec[i]);
temp.push_back(pp7);
}
}
elseif(IsOperation(vec[i],0))
{
if(vec[i]=="+")
{
pairpp8(22,vec[i]);
temp.push_back(pp8);
}
if(vec[i]=="-")
{
pairpp9(23,vec[i]);
temp.push_back(pp9);
}
if(vec[i]=="*")
{
pairpp10(24,vec[i]);
temp.push_back(pp10);
}
if(vec[i]=="/")
{
pairpp11(25,vec[i]);
temp.push_back(pp11);
}
if(vec[i]=="=")
{
pairpp12(21,vec[i]);
temp.push_back(pp12);
}
if(vec[i]==">")
{
pairpp13(35,vec[i]);
temp.push_back(pp13);
}
if(vec[i]=="<")
{
pairpp14(36,vec[i]);
temp.push_back(pp14);
}
if(vec[i]=="&")
{
pairpp26(41,vec[i]);
temp.push_back(pp26);
}
}
elseif(vec[i][0]<='9'&&vec[i][0]>='0')
{
pairpp24(10,vec[i]);
temp.push_back(pp24);
}
else
{
pairpp25(10,vec[i]);
temp.push_back(pp25);
}
}
elseif(vec[i][0]<='9'&&vec[i][0]>='0')
{
pairpp23(3,vec[i]);
temp.push_back(pp23);
}
elseif(IsKey(vec[i]))
{
if(vec[i]=="main")
{
pairpp15(1,vec[i]);
temp.push_back(pp15);
}
if(vec[i]=="int")
{
pairpp16(2,vec[i]);
temp.push_back(pp16);
}
if(vec[i]=="char")
{
pairpp17(3,vec[i]);
temp.push_back(pp17);
}
if(vec[i]=="else")
{
pairpp18(4,vec[i]);
temp.push_back(pp18);
}
if(vec[i]=="if")
{
pairpp19(5,vec[i]);
temp.push_back(pp19);
}
if(vec[i]=="for")
{
pairpp20(6,vec[i]);
temp.push_back(pp20);
}
if(vec[i]=="while")
{
pairpp21(7,vec[i]);
temp.push_back(pp21);
}
}
else
{
pairpp22(10,vec[i]);
temp.push_back(pp22);
}
}
returntemp;
}
/*finished*/
五、运行调试
六、实验心得
该词法分析器功能良好,可以完成预定的要求。
此次实验让我了解了如何设计、编制并调试词法分析程序,并加深了我对词法分析器原理的理解;熟悉了直接构造词法分析器的方法和相关原理,并学会使用c语言直接编写词法分析器;同时更熟练的掌握用c语言编写程序,实现一定的实际功能。
通过这次实验,我对词法分析器有了进一步的了解,把理论知识应用于实验中。
也让我重新熟悉了C语言的相关内容,加深了对C语言知识的深化和用途的理解。
通过这次语义分析的实验,我对高级语言的学习有了更深的认识,了解得更透彻。
同时我了解了高级语言转化为目标代码或汇编指令的过程,。
对今后的学习将起很大的作用,对以后的编程有很大的帮助.本次实验虽然只是完成了一个简单的程序,并且程序的主要框架课本上有给出,但在组织程序结构和深入了解上学到了很多,加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。
巩固了前面所学的知识。