词法分析器Word格式.docx

1、第五章 结论.10参考文献.10 附录 程序清单.11引言编译原理是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。编译原理涉及词法分析，语

2、法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词（也称单词符号或符号）。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。执行词法分析的程序称为词法分析器，也称为扫描器。词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。本次课程设计，我的选题是词法分析，C+代码实现。第一章 概述1.1

3、设计内容1.2 设计要求（1） 假设该语言中的单词符号及种别编码如下表所示。单词符号及种别编码单词符号种别编码main128int229char330if431else5,32for6:33while7；34标识符ID1035整型常数NUM2036=2137+2238-2339*24！40/25&41（2642）27|43 （2） 关键字main int char if else for while都是小写并都是保留字。 算符和界符 = + * / & ! & | , : ; （ ）ID和NUM的正规定义式为：IDletter（letter | didit）*NUMdigit digit*le

4、ttera | | z | A | | Zdigit 0 | | 9如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。第二章 设计原理2.1 符号分类程序语言的单词符号一般分为以下五种：关键字标识符常数运算符界符2.2.词法分析器的二元输出（单词种别，单词符号的属性值）单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。2.3 正规式和状态转换图第三章 程序设计3.1 总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText（）;/

5、*获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。string GetWord（string str,int i,int& j）;/*这个函数用来除去字符串中连续的空格和换行int DeleteNull（string str,int i）;/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary（string str,int i）;/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation（string str,int i）;/*此函数将一个pair数组输出到

6、一个文件中*/void OutFile（vectorpair v）;/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector analyst（vector vec）;/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey（string str）;3.2 各模块设计1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；2.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字

7、表为一个字符串数组，其描述如下：char KEY_WORDS7=main,int,char,if,else,for,while；用以存放单词符号二元式的数据结构可如下定义：class Word_Analyzerpublic: char ContentMAXLENGTH ; int val ; void print（）; ;3.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；4.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序Pr

8、intError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。第四章 程序测试4.1正常测试测试该设计词法分析器，可对下面的源程序进行词法分析： main（） int i = 10;while（i） i = i - 1; 输出如下二元式代码序列：（1,main） （26,（） （27,） （30,） （2,int） （10,i） （21,=） （20,10） （34,;） （7,while） （26,（） （10,i） （27,） （10,i） （21, =） （10,i） （23,-） （20,1） （34,;） （31,）第五章 结论 该词法分析器功能良好，可

9、以完成预定的要求。参考文献：程序设计语言编译原理 陈火旺C+程序设计 谭浩强程序清单：#include vectorfstreamusing namespace std;/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/int main（） string com1= ; string com2=n string fileline=GetText（）; int begin=0,end=0; vector array; do begin=DeleteNull（fileline,begin）; string nowString; nowStr

10、ing=GetWord（fileline,begin,end）; if（end=-1） break; if（nowSpare（com1）&nowSpare（com2） array.push_back（nowString）; begin=end+1; while（true）; mid_result; mid_result=analyst（array）; OutFile（mid_result）; cout*n*程序已完成词法分析，分析结果已经存储在文件file_namefile_name1; ifstream infile（file_name1.c_str（）,ios:in）; if （!infi

11、le） cerr无法打开文件!file_name1.c_str（） !endl; exit（-1）; char f1000; infile.getline（f,1000,EOF）; infile.close（）; return f;/并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。 j） string no_use（） , ;n+=*/- j=str.find_first_of（no_use,i）; if（j=-1） return if（i!=j） j-; return str.substr（i,j-i+1）;/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空

12、格和换行后的第一个有效字符在字符串的位置*/int DeleteNull（string str,int i） for（;i+） if（stri!= stri!n return i;bool IsBoundary（string str,int i） int t; char arr7=,（）; for （t=0;t7;t+） if（stri=arrt） return true; return false;bool IsOperation（string str,int i）+-*/*此函数将一个个字符串数组输出到一个文件中*/ v）请输入目标文件名（包括路径和后缀名）：file_name; ofst

13、ream outfile（file_name.c_str（）,ios:out）;outfile）file_name.c_str（） int i; for（i=0;iv.size（）; outfilevi.first , vi.secondnn*n outfile.close（）; return; vec） temp;vec.size（）; if（veci.size（）=1） if（veci=|veci=）&veci+1= string jk=veci; jk.append（vec+i,0,1）; pair pp（4,jk）; temp.push_back（pp）; continue;+）|（v

14、eci=-） if（IsBoundary（veci,0） pp（5,veci）; else if（IsOperation（veci,0） pp（4,veci）; else if（veci00 pp（3,veci）; else pp（2,veci）; else if（IsKey（veci） pp（1,veci）; return temp;bool IsKey（string str）string p16=char,doubleintlongfloatforwhiledobreakcontinueswitchshortcasereturnif ppp（p,p+16）;int u;for（u=0;uppp.size（）;u+）if（!pare（pppu）return true;return false;/*finished*/