1、词法分析器实验报告词法分析器实验报告词法分析器设计一、 实验目的:对C语言的一个子集设计并实现一个简单的词法分析器,掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码,并保存到文件中。二、实验内容:1. 设计原理词法分析的任务:从左至右逐个字符地对源程序进行扫描,产生一个个单词符号。理论基础:有限自动机、正规文法、正规式词法分析器(Lexical Analyzer) 又称扫描器(Scanner):执行词法分析的程序2. 词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种:关键字
2、、标识符、常数、运算符,界符3. 输出的单词符号的表示形式:单词种别用整数编码,关键字一字一种,标识符统归为一种,常数一种,各种符号各一种。4. 词法分析器的结构5. 状态转换图实现三、程序设计1总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText();/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行int DeleteNull(st
3、ring str,int i);/*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vectorpair v);/*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/vectorpair analyst(vector vec);/*此函数判断传递的参数是否为关键字,是的话,返回真,反之返
4、回假*/bool IsKey(string str);2各模块设计(1).首先根据上面单词符号表及ID和NUM的正规定义式,构造出状态转换图;(2).定义相关的变量和数据结构。关键字作为特殊标识符处理,把它们预先安排在一张表格中(称为关键字表),当扫描程序识别出标识符时,查关键字表。如能查到匹配的单词,则该单词为关键字,否则为一般标识符。关键字表为一个字符串数组,其描述如下:char KEY_WORDS7=main,int,char,if,else,for,while;用以存放单词符号二元式的数据结构可如下定义:class Word_Analyzerpublic: char ContentMA
5、XLENGTH ; int val ; void print(); ;(3).按照编译程序一遍扫描的要求,把词法分析器Scaner作为一个独立的子程序来设计,通过对Scaner的反复调用识别出所有的单词符号;(4).当Scaner识别出一个单词符号时,则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时,则调用错误处理程序PrintError,显示当前扫描到的字符及其所在行、列位置,并跳过该字符重新开始识别单词符号。四、程序代码#include #include #include #include using namespace std; /*用来存储目标文件名*/
6、string file_name; /*提取文本文件中的信息。*/ string GetText(); /*获得一个单词符号,从位置i开始查找。 /并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。*/ string GetWord(string str,int i,int& j); /*这个函数用来除去字符串中连续的空格和换行 /第一个参数为目标字符串,第二个参数为开始位置 /返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i); /*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/ bo
7、ol IsBoundary(string str,int i); /*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/ bool IsOperation(string str,int i); /*此函数将一个pair数组输出到一个文件中*/ void OutFile(vectorpair v); /*次函数将参数str,digit添加到temp中*/ void add(string str,int digit,vectorpair temp); /*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/ vectorpair analyst(vector vec)
8、; /*此函数判断传递的参数是否为关键字,是的话,返回真,反之返回假*/ bool IsKey(string str); int main() cout*n; cout*编译原理课程设计-词法编译器ver 1.0*n; cout*n; coutendl; string com1= ; string com2=n; string fileline=GetText(); int begin=0,end=0; vector array; do begin=DeleteNull(fileline,begin); string nowString; nowString=GetWord(fileline,
9、begin,end); if(end=-1) break; if(nowSpare(com1)&nowSpare(com2) array.push_back(nowString); begin=end+1; while(true); vectorpair mid_result; mid_result=analyst(array); OutFile(mid_result); cout*n; cout*程序已完成词法分析,分析结果已经存储在文件file_name中!*n; cout*n; cout感谢使用,谢谢再见!endl; system(pause); return 0; /*提取文本文件中的
10、信息*/ string GetText() string file_name1; coutfile_name1; ifstream infile(file_name1.c_str(),ios:in); if (!infile) cerr无法打开文件! file_name1.c_str() !endl; exit(-1); coutendl; char f1000; infile.getline(f,1000,EOF); infile.close(); printf(f); coutendl; return f; /*获得一个单词符号,从位置i开始查找。 /并且有一个引用参数j,用来返回这个单词
11、最后一个字符在原字符串的位置。*/ string GetWord(string str,int i,int& j) string no_use() , ;n+=*/-); j=str.find_first_of(no_use,i); if(j=-1) return ; if(i!=j) j-; return str.substr(i,j-i+1); /*这个函数用来除去字符串中连续的空格和换行 /第一个参数为目标字符串,第二个参数为开始位置 /返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i) for(;i+) if(
12、stri!= &stri!=n) return i; /*判断i当前所指的字符是否为一个分界符,是的话返回真,反之假*/ bool IsBoundary(string str,int i) int t; char arr7=,;,(,),:; for (t=0;t7;t+) if(stri=arrt) return true; return false; /*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假*/ bool IsOperation(string str,int i) int t; char arr8=+,-,*,/,=,&; for (t=0;t8;t+) if(str
13、i=arrt) return true; return false; /*此函数将一个个字符串数组输出到一个文件中*/ void OutFile(vectorpair v) coutfile_name; ofstream outfile(file_name.c_str(),ios:out); if (!outfile) cerr无法打开文件! file_name.c_str() !endl; exit(-1); coutendl; int i; for(i=0;iv.size();i+) outfilevi.first , vi.secondendl; coutvi.first , vi.se
14、condendl; outfilenn*n; outfile.close(); return; /*此函数判断传递的参数是否为关键字,是的话,返回真,反之返回假*/ bool IsKey(string str) string p7=main,int,char,if,else,for,while; vector ppp(p,p+7); int u; for(u=0;uppp.size();u+) if(!pare(pppu) return true; return false; /*此函数接受一个字符串数组,对它进行词法分析,返回一个pair型数组*/ vectorpair analyst(ve
15、ctor vec) vectorpair temp; int i; for(i=0;i&veci+1=) string jk=veci; jk.append(vec+i,0,1); pair pp(37,jk); temp.push_back(pp); continue; if(veci=&veci+1=) string jk=veci; jk.append(vec+i,0,1); pair pp(38,jk); temp.push_back(pp); continue; if(veci=&veci+1=) string jk=veci; jk.append(vec+i,0,1); pair
16、pp(39,jk); temp.push_back(pp); continue; if(veci=!&veci+1=) string jk=veci; jk.append(vec+i,0,1); pair pp(40,jk); temp.push_back(pp); continue; if(veci=&veci+1=&) string jk=veci; jk.append(vec+i,0,1); pair pp(42,jk); temp.push_back(pp); continue; if(veci=|&veci+1=|) string jk=veci; jk.append(vec+i,0
17、,1); pair pp(43,jk); temp.push_back(pp); continue; if(IsBoundary(veci,0) if(veci=,) pair pp1(32,veci); temp.push_back(pp1); if(veci=;) pair pp2(34,veci); temp.push_back(pp2); if(veci=) pair pp3(30,veci); temp.push_back(pp3); if(veci=) pair pp4(31,veci); temp.push_back(pp4); if(veci=() pair pp5(26,ve
18、ci); temp.push_back(pp5); if(veci=) pair pp6(27,veci); temp.push_back(pp6); if(veci=:) pair pp7(33,veci); temp.push_back(pp7); else if(IsOperation(veci,0) if(veci=+) pair pp8(22,veci); temp.push_back(pp8); if(veci=-) pair pp9(23,veci); temp.push_back(pp9); if(veci=*) pair pp10(24,veci); temp.push_ba
19、ck(pp10); if(veci=/) pair pp11(25,veci); temp.push_back(pp11); if(veci=) pair pp12(21,veci); temp.push_back(pp12); if(veci=) pair pp13(35,veci); temp.push_back(pp13); if(veci=) pair pp14(36,veci); temp.push_back(pp14); if(veci=&) pair pp26(41,veci); temp.push_back(pp26); else if(veci0=0) pair pp24(1
20、0,veci); temp.push_back(pp24); else pair pp25(10,veci); temp.push_back(pp25); else if(veci0=0) pair pp23(3,veci); temp.push_back(pp23); else if(IsKey(veci) if(veci=main) pair pp15(1,veci); temp.push_back(pp15); if(veci=int) pair pp16(2,veci); temp.push_back(pp16); if(veci=char) pair pp17(3,veci); te
21、mp.push_back(pp17); if(veci=else) pair pp18(4,veci); temp.push_back(pp18); if(veci=if) pair pp19(5,veci); temp.push_back(pp19); if(veci=for) pair pp20(6,veci); temp.push_back(pp20); if(veci=while) pair pp21(7,veci); temp.push_back(pp21); else pair pp22(10,veci); temp.push_back(pp22); return temp; /*
22、finished*/五、运行调试六、实验心得该词法分析器功能良好,可以完成预定的要求。此次实验让我了解了如何设计、编制并调试词法分析程序,并加深了我对词法分析器原理的理解;熟悉了直接构造词法分析器的方法和相关原理,并学会使用c语言直接编写词法分析器;同时更熟练的掌握用c语言编写程序,实现一定的实际功能。通过这次实验,我对词法分析器有了进一步的了解,把理论知识应用于实验中。也让我重新熟悉了C语言的相关内容,加深了对C语言知识的深化和用途的理解。通过这次语义分析的实验, 我对高级语言的学习有了更深的认识 ,了解得更透彻。 同时我了解了高级语言转化为目标代码或汇编指令的过程,。对今后的学习将起很大的作用,对以后的编程有很大的帮助. 本次实验虽然只是完成了一个简单的程序,并且程序的主要框架课本上有给出,但在组织程序结构和深入了解上学到了很多,加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。巩固了前面所学的知识。
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1