语料库语言学PPT推荐.ppt

语料库语言学PPT推荐.ppt

《语料库语言学PPT推荐.ppt》由会员分享，可在线阅读，更多相关《语料库语言学PPT推荐.ppt（29页珍藏版）》请在冰豆网上搜索。

此外，诸如困惑度之类的统计方法也可利用语料库来评估一个语法模型对语料的解释能力。

GeoffreyLeech,TheStateofTheArtinCorpusLinguistics,1991,InAijmar,K.andAltenberg,B.,eds.,EnglishCorpusLinguistics:

StudiesinHonorofJanSvartvik,London:

Longman,1991.关于语料库的三点基本认识1.语料库中存放的是在语言的实际使用中真实出现过的语言材料；

2.语料库是以电子计算机为载体承载语言知识的基础资源；

3.真实语料需要经过加工（分析和处理），才能成为有用的资源；

语料库示例

（一）北京大学计算语言所富士通人民日报标注语料库样例：

历史/n将/d铭记/v这个/r坐标/n：

/w北纬/b/m度/q、/w东经/b/m度/q；

/w人们/n将/d铭记/v这/r一/m时刻/n：

/w年/t月/t日/t时/t分/t。

/w中国/ns政府/nnt顺利/ad恢复/v对/p香港/ns行使/v主权/n，/w并/c按照/p“/w一国两制/j”/w、/w“/w港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。

/w语料库示例

（二）London-Lund英语口语语料库样例whata_boutacigarette#./*（4sylls）*/*Iwonthaveoneth/anks#*-/arentyou.goingtositd/own#-/m#-/havemy_coffeeinp=eace#-/quiteanice.roomto!

sitin（actually）#/*isnt*it#/*y/es#*-/转引自TonyMcEnery&

AndrewWilson,1996,CorpusLinguistics,p55。

语料库与语言知识库语言知识库（LinguisticDatabase）语料库（corpora/corpus）2语料库发展简史早期语料库语言学（20世纪50年代中期以前，乔提出转换生成语法理论之前的所有基于语言材料的语言研究）（语言习得：

方言学；

语言教学；

句法和语义；

音系研究）20世纪50年代Chomsky的影响（1.乔认为基于语料库得研究方法有误，提倡理性主义；

2.语料的不充分性，短语结构具有递归性）第一代（197080年代）第二代（198090年代）第三代（1990年代）第一代语料库Brown语料库LOB语料库百万词级以语言研究为导向LLC语料库第二代语料库COBUILD语料库千万词级词典编纂应用导向Longman语料库第三代语料库ACL/DCI语料库（上亿词级）标准编码体系UPenn树库深度标注/多语种LDC超大规模NLP应用3语料库的设计语料库的编码体系SGML（标准置标语言）http:

/www.w3.org/MarkUp/SGML/XML（可扩展的置标语言）http:

/www.w3.org/TR/REC-xmlTEI（文档编码计划）http:

/www.tei-c.org/CES（语料库编码标准）http:

/www.tei-c.org/Applications/index-co02.html冯志伟，1998，标准通用置标语言SGML及其在自然语言处理中的应用，载当代语言学1998年第4期。

CES标准（CorpusEncodingStandard）语料库/n标记/n应该/v有/v规范/n语料库A:

不符合CES语料库语料库B:

符合CES标记应该有规范4语料库的加工语料库标注（Annotation）1）词性标记（Part-of-speechtagging）2）句法层次和范畴标记（Grammaticalparsing）3）词义标记（Wordsensetagging）4）篇章指代标记（Anaphoricannotation）5）韵律标记（Prosodicannotation）http:

/p.lancs.ac.uk/computing/research/ucrel/annotation.html语料库加工工具双语语料库（BilingualCorpora）加工段落对齐句子对齐词对齐短语对齐双语句子对齐基于长度（length-based）的对齐方法Gale&

Church（1993）纯粹基于句子的长度来估计对齐可能性资源要求少，算法效率相对较高基于词（word-based）的对齐方法一般要依赖词典资源，算法效率相对较低双语句子对齐示例双语句子对齐问题5语料库应用1.支持自然语言处理应用系统开发2.支持语言学研究和语言教学研究语料库对NLP的支持基于大规模语料库的语音识别；

基于大规模语料库的音字转换技术（中文输入）；

基于大规模语料库的自动文本校对技术；

利用语料库训练HMM模型进行分词，词性标注，词义标注，等等；

基于语料库的句法分析；

基于语料库的机器翻译；

基于机器学习技术，通过语料库获取语言知识，包括搭配特征，句法规则，等等；

基于语料库的语言模型训练和语法模型评价；

中文音字转换基于语料库的语言研究Concordance（索引相关集列）Collocation（搭配的定量研究）CobuildConcordanceandCollocationsSamplerhttp:

/titania.cobuild.collins.co.uk/form.html台湾“中研院”现代汉语平衡语料库http:

/www.sinica.edu.tw/ftms-bin/kiwi.sh孙茂松等，1997，汉语搭配定量分析初探，载中国语文1997年第1期。

pp29-38。

关于搭配的定义搭配是重复出现的；

“大手笔”“大文科”/“大历史”搭配是不可类推的；

（自由组合受限组合）“吃豆腐”“吃白菜”“喝西北风”搭配一般具有正常的句法结构；

“戴高帽”?

“戴高”“风马牛不相及”搭配通常与领域相关；

“语言习得”“学说话”“风险投资”其他研究风格学研究抽取词表（单语，双语）统计字频、词频，编写语言教材词典编纂句法结构研究句型研究小结语料库对NLP和语言研究与教学都有非常重要的意义；

语料库的建设是非常昂贵的；

要利用好语料库，应该尽量打好统计基础；

进一步阅读文献Gale,W.&

Church,K.,Aprogramforaligningsentenceinbilingualcorpora,InComputationallinguistics,Vol.19,No.1,1993.刘昕，周明，黄昌宁，1995，基于长度算法的中英双语文本对齐的试验，载陈力为等主编计算语言学进展与应用，清华大学出版社1995年版。

孙宏林，1997，从标注语料库中归纳语法规则：

“V+N”序列试验分析，载陈力为、袁琦主编语言工程，清华大学出版社1997年版，pp157-163。

当代语言学1998年第1期，语料库语言学专刊。

GraemeKennedy,1998,AnIntroductiontoCorpusLinguistics,AddisonWesleyLongmanLimited.（外语教育与研究出版社2000年原版引进）AnthonyWoods,PaulFletcher,ArthurHughes,1986,StatisticsinLanguageStudies,CambridgeUniversityPress.（外语教育与研究出版社2000年原版引进）