flex词法分析器1.docx
《flex词法分析器1.docx》由会员分享，可在线阅读，更多相关《flex词法分析器1.docx（10页珍藏版）》请在冰豆网上搜索。
flex词法分析器1
实验项目一词法分析器
一、实验类型
本实验为验证性实验。
二、实验目的
1．通过本实验加深对词法分析程序的功能及实现方法的理解；
2．使用flex实现词法分析程序。
三、准备工作和预备知识
Lex（LexicalAnalyzar 词法分析生成器）是Unix下十分重要的词法分析工具。
经常用于语言分析，公式编译等广泛领域。
1.Lex（LexicalAnalyzar） 初步示例
先看简单的例子:
一个简单的Lex文件 exfirst.l 内容：
%{
#include"stdio.h"
%}
%%
[\n] ;
[0-9]+ printf（"Int :
%s\n",yytext）;
[0-9]*\.[0-9]+ printf（"Float :
%s\n",yytext）;
[a-zA-Z][a-zA-Z0-9]* printf（"Var :
%s\n",yytext）;
[\+\-\*\/\%] printf（"Op :
%s\n",yytext）;
“.” printf（"Unknown:
%c\n",yytext[0]）;
%%
在命令行下执行命令flex解析，会自动生成lex.yy.c文件：
[root@localhostliweitest]flexexfirst.l
进行编译生成parser可执行程序：
[root@localhostliweitest]cc-oparserlex.yy.c–ll
或者
[root@localhostliweitest]gcclex.yy.c–ll-oparser
[注意：
如果不加-ll链结选项，cc编译时会出现以下错误，后面会进一步说明。
]
/tmp/cciACkbX.o（.text+0x37b）:
Infunction`yylex':
:
undefinedreferenceto`yywrap'
/tmp/cciACkbX.o（.text+0xabd）:
Infunction`input':
:
undefinedreferenceto`yywrap'
创建待解析的文件 file.txt：
title
i=1+3.9;
a3=909/6
bcd=4%9-333
通过已生成的可执行程序，进行文件解析。
[root@localhostliweitest]#./parserVar :
title
Var :
i
Unknown:
=
Int :
1
Op :
+
Float :
3.9
Unknown:
;
Var :
a3
Unknown:
=
Int :
909
Op :
/
Int :
6
Var :
bcd
Unknown:
=
Int :
4
Op :
%
Int :
9
Op :
-
Int :
333
到此Lex用法会有个直观的了解：
a.定义Lex描述文件
b.通过lex，flex工具解析成lex.yy.c文件
c.使用cc或gcc编译lex.yy.c生成可执行程序
再来看一个比较完整的Lex描述文件 exsec.l ：
%{
#include"stdio.h"
intlinenum;
%}
%%
“title” showtitle（）;
[\n] linenum++;
[0-9]+ printf（"Int :
%s\n",yytext）;
[0-9]*\.[0-9]+ printf（"Float :
%s\n",yytext）;
[a-zA-Z][a-zA-Z0-9]* printf（"Var :
%s\n",yytext）;
[\+\-\*\/\%] printf（"Op :
%s\n",yytext）;
“.” printf（"Unknown:
%c\n",yytext[0]）;
%%
showtitle（）
{
printf（"-----LexExample-----\n"）;
}
intmain（）
{
linenum=0;
yylex（）;/* 进行分析 */
printf（"\nLineCount:
%d\n",linenum）;
return0;
}
intyywrap（）
{
return1;
}
进行解析编译：
[root@localhostliweitest]flexexsec.l
[root@localhostliweitest]cc-oparserlex.yy.c
[root@localhostliweitest]./parser-----LexExample-----
Var :
i
Unknown:
=
Int :
1
Op :
+
Float :
3.9
Unknown:
;
Var :
a3
Unknown:
=
Int :
909
Op :
/
Int :
6
Var :
bcd
Unknown:
=
Int :
4
Op :
%
Int :
9
Op :
-
Int :
333
LineCount:
4
这里就没有加-ll选项，但是可以编译通过。
下面开始着重整理下Lex描述文件.l。
2.Lex（LexicalAnalyzar） 描述文件的结构介绍
Lex工具是一种词法分析程序生成器，它可以根据词法规则说明书的要求来生成单词识别程序，由该程序识别出输入文本中的各个单词。
一般可以分为<定义部分><规则部分><用户子程序部分>。
其中规则部分是必须的，定义和用户子程序部分是任选的。
（1）定义部分
定义部分起始于 %{ 符号，终止于 %} 符号，其间可以是包括include语句、声明语句在内的C语句。
这部分跟普通C程序开头没什么区别。
%{
#include"stdio.h"
intlinenum;
%}
（2） 规则部分
规则部分起始于"%%"符号，终止于"%%"符号，其间则是词法规则。
词法规则由模式和动作两部分组成。
模式部分可以由任意的正则表达式组成，动作部分是由C语言语句组成，这些语句用来对所匹配的模式进行相应处理。
需要注意的是，lex将识别出来的单词存放在yytext[]字符数据中，因此该数组的内容就代表了所识别出来的单词的内容。
类似yytext这些预定义的变量函数会随着后面内容展开一一介绍。
动作部分如果有多行执行语句，也可以用{}括起来。
%%
title showtitle（）;
[\n] linenum++;
[0-9]+ printf（"Int :
%s\n",yytext）;
[0-9]*\.[0-9]+ printf（"Float :
%s\n",yytext）;
[a-zA-Z][a-zA-Z0-9]* printf（"Var :
%s\n",yytext）;
[\+\-\*\/\%] printf（"Op :
%s\n",yytext）;
. printf（"Unknown:
%c\n",yytext[0]）;
%%
A.规则部分的正则表达式
规则部分是Lex描述文件中最为复杂的一部分，下面列出一些模式部分的正则表达式字符含义：
A-Z,0-9,a-z 构成模式部分的字符和数字。
- 指定范围。
例如：
a-z 指从 a 到 z 之间的所有字符。
\ 转义元字符。
用来覆盖字符在此表达式中定义的特殊意义，只取字符的本身。
[] 表示一个字符集合。
匹配括号内的任意字符。
如果第一个字符是^那么它表示否定模式。
例如:
[abC] 匹配 a,b, 和C的任何一个。
^ 表示否定。
* 匹配0个或者多个上述模式。
+ 匹配1个或者多个上述模式。
?
匹配0个或1个上述模式。
$ 作为模式的最后一个字符时匹配一行的结尾。
{} 表示一个模式可能出现的次数。
例如:
A{1,3} 表示 A 可能出现1次或3次。
[a-z]{5} 表示长度为5的，由a-z组成的字符。
此外，还可以表示预定义的变量。
. 匹配任意字符，除了 \n。
（）将一系列常规表达式分组。
如：
{Letter}（{Letter}|{Digit}）*
| 表达式间的逻辑或。
"一些符号" 字符的字面含义。
元字符具有。
如：
"*" 相当于 [\*]。
/ 向前匹配。
如果在匹配的模式中的"/"后跟有后续表达式，只匹配模版中"/"前面的部分。
如：
模式为 ABC/D 输入 ABCD，时ABC会匹配ABC/D，而D会匹配相应的模式。
输入ABCE的话，ABCE就不会去匹配ABC/D。
B.规则部分的优先级
规则部分具有优先级的概念，先举个简单的例子：
%{
#include"stdio.h"
%}
%%
[\n] ;
A {printf（"ONE\n"）;};
AA {printf（"TWO\n"）;};
AAAA {printf（"THREE\n"）;};
%%
此时，如果输入内容：
[root@localhostliweitest]#catfile1.txt
AAAAAAA
[root@localhostliweitest]#./parserTHREE
TWO
ONE
Lex分析词法时，是逐个字符进行读取，自上而下进行规则匹配的，读取到第一个A字符时，遍历后发现三个规则皆匹配成功，Lex会继续分析下去，读至第五个字符时，发现"AAAA"只有一个规则可用，即按行为进行处理，以此类推。
可见Lex会选择最长的字符匹配规则。
如果将规则
AAAA {printf（"THREE\n"）;};
改为
AAAAA {printf（"THREE\n"）;};
./parserTHREE
TWO
再来一个特殊的例子：
%%
title showtitle（）;
[a-zA-Z][a-zA-Z0-9]* printf（"Var :
%s\n",yytext）;
%%
并输入title，Lex解析完后发现，仍然存在两个规则，这时Lex只会选择第一个规则，下面的则被忽略的。
这里就体现了Lex的顺序优先级。
把这个例子稍微改一下：
%%
[a-zA-Z][a-zA-Z0-9]* printf（"Var :
%s\n",yytext）;
title showtitle（）;
%%
Lex编译时会提示：
warning,rulecannotbematched.这时处理title字符时，匹配到第一个规则后，第二个规则就无效了。
再把刚才第一个例子修改下，加深下印象！
%{
#include"stdio.h"
%}
%%
[\n] ;
A {printf（"ONE\n"）;};
AA {printf（"TWO\n"）;};
AAAA {printf（"THREE\n"）;};
AAAA {printf（"Cannotbeexecuted!
"）;};
./parserC.规则部分的使用变量
且看下面示例：
%{
#include"stdio.h"
intlinenum;
%}
int [0-9]+
float [0-9]*\.[0-9]+
%%
{int} printf（"Int :
%s\n",yytext）;
{float} printf（"Float :
%s\n",yytext）;
. printf（"Unknown:
%c\n",yytext[0]）;
%%
在%}和%%之间，加入了一些类似变量的东西，注意是没有;的，这表示int，float分别代指特定的含义，在两个%%之间，可以通过{int}{float}进行直接引用，简化模式定义。
（3） 用户子程序部分
最后一个%%后面的内容是用户子程序部分，可以包含用C语言编写的子程序，而这些子程序可以用在前面的动作中，这样就可以达到简化编程的目的。
这里需要注意的是，当编译时不带-ll选项时，是必须加入main函数和yywrap（yywrap将下后面说明）。
如：
...
%%
showtitle（）
{
printf（"-----LexExample-----\n"）;
}
intmain（）
{
linenum=0;
yylex（）;/* 进行Lex分析 */
printf（"\nLineCount:
%d\n",linenum）;
return0;
}
intyywrap（）
{
return1;
}
3.Lex（LexicalAnalyzar） 一些的内部变量和函数
内部预定义变量：
yytext char* 当前匹配的字符串
yyleng int 当前匹配的字符串长度
yyin FILE* lex当前的解析文件，默认为标准输出
yyout FILE* lex解析后的输出文件，默认为标准输入
yylinenoint 当前的行数信息
内部预定义宏：
ECHO #defineECHOfwrite（yytext,yyleng,1,yyout） 也是未匹配字符的默认动作
内部预定义的函数：
intyylex（void） 调用Lex进行词法分析
intyywrap（void） 在文件（或输入）的末尾调用。
如果函数的返回值是1，就停止解析。
因此它可以用来解析多个文件。
代码可以写在第三段，这样可以解析多个文件。
方法是使用 yyin 文件指针指向不同的文件，直到所有的文件都被解析。
最后，yywrap（） 可以返回1来表示解析的结束。
lex和flex都是解析Lex文件的工具，用法相近，flex意为fastlexicalanalyzergenerator。
可以看成lex的升级版本。
相关更多内容就需要参考flex的man手册。
4.关于Lex的一些综述
Lex其实就是词法分析器，通过配置文件*.l，依据正则表达式逐字符去顺序解析文件，并动态更新内存的数据解析状态。
Lex善长于模式匹配。
四、实验内容
1、进入ubuntu的终端，查看系统中有没有安装flex，若没有则安装。
2、有下面是简单C语言的词法：
1.关键字：
elseifintreturnvoidwhile
所有的关键字都是保留字，并且必须是小写。
2.下面是专用符号：
+-*/<<=>>===!
==;,（）[]{}
3.其他标记是ID和NUM，通过下列正则表达式定义：
ID=letterletter*
NUM=digitdigit*
letter=a|..|z|A|..|Z
digit=0|..|9
小写和大写字母是有区别的。
要求：
编写其对应的lex程序，然后编译，生成该简单C语言的词法分析器，然后用此词法分析器分析简单C语言的程序段。
升级会员 