词法分析器Word格式.docx
《词法分析器Word格式.docx》由会员分享，可在线阅读，更多相关《词法分析器Word格式.docx（14页珍藏版）》请在冰豆网上搜索。
第五章结论.....................................................10
参考文献...........................................................10
附录程序清单.................................................11
引言
《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。
该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。
由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。
为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。
编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。
词法分析阶段是编译过程的第一个阶段，是编译的基础。
这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词（也称单词符号或符号）。
词法分析程序实现这个任务。
词法分析程序可以使用Lex等工具自动生成。
从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。
执行词法分析的程序称为词法分析器，也称为扫描器。
词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。
本次课程设计，我的选题是词法分析，C++代码实现。
第一章概述
1.1设计内容
1.2设计要求
（1）假设该语言中的单词符号及种别编码如下表所示。
单词符号及种别编码
单词符号
种别编码
main
1
[
28
int
2
]
29
char
3
{
30
if
4
}
31
else
5
32
for
6
:
33
while
7
；
34
标识符ID
10
＞
35
整型常数NUM
20
＜
36
=
21
＞＝
37
+
22
＜＝
38
-
23
＝＝
39
*
24
！
＝
40
/
25
&
41
（
26
42
）
27
||
43
（2）关键字mainintcharifelseforwhile都是小写并都是保留字。
算符和界符=+－*/&
＜＜＝＞＞＝＝＝ !
＝&
||,:
;
{}[]（）
ID和NUM的正规定义式为：
ID→letter（letter|didit）*
NUM→digitdigit*
letter→a|…|z|A|…|Z
digit→0|…|9
如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。
空格由空白、制表符和换行符组成。
第二章设计原理
2.1符号分类
程序语言的单词符号一般分为以下五种：
关键字
标识符
常数
运算符
界符
2.2.词法分析器的二元输出
（单词种别，单词符号的属性值）
单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。
2.3正规式和状态转换图
第三章程序设计
3.1总体模块设计
/*用来存储目标文件名*/
stringfile_name;
/*提取文本文件中的信息。
*/
stringGetText（）;
/*获得一个单词符号,从位置i开始查找。
//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。
stringGetWord（stringstr,inti,int&
j）;
/*这个函数用来除去字符串中连续的空格和换行
intDeleteNull（stringstr,inti）;
/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/
boolIsBoundary（stringstr,inti）;
/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/
boolIsOperation（stringstr,inti）;
/*此函数将一个pair数组输出到一个文件中*/
voidOutFile（vector<
pair<
int,string>
>
v）;
/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/
vector<
analyst（vector<
string>
vec）;
/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/
boolIsKey（stringstr）;
3.2各模块设计
1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；
2.定义相关的变量和数据结构。
关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。
如能查到匹配的单词，则该单词为关键字，否则为一般标识符。
关键字表为一个字符串数组，其描述如下：
charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；
用以存放单词符号二元式的数据结构可如下定义：
classWord_Analyzer
public:
charContent[MAXLENGTH];
intval;
voidprint（）;
};
3.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；
4.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。
若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。
第四章程序测试
4.1正常测试
测试该设计词法分析器，可对下面的源程序进行词法分析：
main（）
{
inti=10;
while（i）i=i-1;
}
输出如下二元式代码序列：
（1,main）（26,（）（27,））（30,{）（2,int）（10,i）（21,=）（20,10）（34,;
）（7,while）（26,（）（10,i）（27,））（10,i）（21,=）（10,i）（23,-）（20,1）（34,;
）（31,}）
第五章结论
该词法分析器功能良好，可以完成预定的要求。
参考文献：
《程序设计语言编译原理》陈火旺
《C++程序设计》谭浩强
程序清单：
#include<
iostream>
vector>
fstream>
usingnamespacestd;
//第一个参数为目标字符串，第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/
intmain（）
stringcom1="
"
;
stringcom2="
\n"
stringfileline=GetText（）;
intbegin=0,end=0;
vector<
array;
do
begin=DeleteNull（fileline,begin）;
stringnowString;
nowString=GetWord（fileline,begin,end）;
if（end==-1）
break;
if（nowSpare（com1）&
nowSpare（com2））
array.push_back（nowString）;
begin=end+1;
}while（true）;
mid_result;
mid_result=analyst（array）;
OutFile（mid_result）;
cout<
<
"
**********************************************************************\n"
***程序已完成词法分析，分析结果已经存储在文件"
file_name<
中！
***\n"
system（"
pause"
）;
return0;
/*提取文本文件中的信息*/
stringGetText（）
stringfile_name1;
请输入源文件名（包括路径和后缀名）：
cin>
>
file_name1;
ifstreaminfile（file_name1.c_str（）,ios:
in）;
if（!
infile）
cerr<
无法打开文件!
file_name1.c_str（）<
!
!
endl;
exit（-1）;
charf[1000];
infile.getline（f,1000,EOF）;
infile.close（）;
returnf;
//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。
j）
stringno_use（"
（）{},;
\n+=*/-<
\"
j=str.find_first_of（no_use,i）;
if（j==-1）
return"
if（i!
=j）
j--;
returnstr.substr（i,j-i+1）;
//第一个参数为目标字符串，第二个参数为开始位置
//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/
intDeleteNull（stringstr,inti）
for（;
i++）
if（str[i]!
='
'
str[i]!
\n'
returni;
boolIsBoundary（stringstr,inti）
intt;
chararr[7]={'
'
'
{'
}'
（'
）'
};
for（t=0;
t<
7;
t++）
if（str[i]==arr[t]）
returntrue;
returnfalse;
boolIsOperation（stringstr,inti）
+'
-'
*'
/'
/*此函数将一个个字符串数组输出到一个文件中*/
v）
请输入目标文件名（包括路径和后缀名）：
file_name;
ofstreamoutfile（file_name.c_str（）,ios:
out）;
outfile）
file_name.c_str（）<
inti;
for（i=0;
i<
v.size（）;
outfile<
v[i].first<
\"
v[i].second<
\n\n*********************************\n"
outfile.close（）;
return;
vec）
temp;
vec.size（）;
if（vec[i].size（）==1）
if（（vec[i]=="
||vec[i]=="
）&
vec[i+1]=="
="
stringjk=vec[i];
jk.append（vec[++i],0,1）;
pair<
pp（4,jk）;
temp.push_back（pp）;
continue;
+"
）||（vec[i]=="
-"
））
if（IsBoundary（vec[i],0））
pp（5,vec[i]）;
elseif（IsOperation（vec[i],0））
pp（4,vec[i]）;
elseif（vec[i][0]<
9'
vec[i][0]>
0'
pp（3,vec[i]）;
else
pp（2,vec[i]）;
elseif（IsKey（vec[i]））
pp（1,vec[i]）;
returntemp;
boolIsKey（stringstr）
stringp[16]={"
char"
"
double"
int"
long"
float"
for"
while"
do"
break"
continue"
switch"
short"
case"
return"
if"
ppp（p,p+16）;
intu;
for（u=0;
u<
ppp.size（）;
u++）
if（!
pare（ppp[u]））
returntrue;
returnfalse;
/*finished*/
升级会员 