海量中文智能分词技术白皮书Word格式文档下载.docx

1、3.1 分词功能模块的介绍 43.2 开发接口 43.3 功能列表 5第四章 典型应用 74.1 KM知识管理系统 74.2 搜索引擎 74.3 辞书出版 74.4 信息服务 74.5 网站信息发布 7第五章 产品性能指标 8第六章 运行环境 86.1 WINDOWS 86.2 LINUX 86.3 UNIX 9第七章 成功案例 97.1商务印书馆 97.2慧聪搜索引擎 97.3其他案例 10序言1.什么是中文分词?中文分词就是将连续的字序列按照一定的规范切分成词序列的过程。众所周知，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没

2、有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。2.中文分词的应用 中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。 通过近几年互联网的发展,互联网上的信息也在急剧膨胀，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，如果都作为一个词来处理，结果是检索“和服”的

3、相关信息，会将他们都检索到。很显然，检索到第一条信息是不恰当的。通过引入分词技术，可以使机器对信息的整理更准确、更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。3.中文分词的意义和作用要想说清楚中文分词的意义和作用，就不得不提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才能使人与机器的

4、交流成为可能。对于自然语言来讲，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至于自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。中文分词是中文信息处理系统的基础，有着极其广泛的实际应用。从基本的输入系统，到文字处理，以及语音合成，文本检索，文本分类，自然语言接口，自动文摘等等，无处不渗透着分词系统的应用。分词系统的完善与应用，必将促进中文信息处理系统的广泛应用，换言之，也就提高了中文软件对于中文的处理能力，这也将使得计算机用户的日常工作的效率得以提高。第

5、一章 产品概述1.1 产品简介海量中文智能分词基础件是海量在中文智能分词技术基础之上推出的分词准确、高效、接口方便灵活，便于二次开发的软件包，以及为使软件包在目标系统中实现最优品质而提供的特定服务。其服务包括：目标系统架构咨询、辅助开发、技术培训、售后支持等。海量中文分词融合了多种先进、经典的分词方法，采用独特的算法调度机制，形成复方的分词算法。海量分词技术很好的解决了中文分词的两大技术难题，即：歧义切分和新词识别。分词效果因此而获得大幅提升：分词准确率达到99.7（北大语料封闭测试），同时，通过对分词底层代码的优化分词效率达到每分钟2000万汉字（测试环境为：PC单机 CPU：Amd 250

6、0+；内存512M DDR），使得分词真正达到实用化的水平。海量中文智能分词基础件在保留海量中文分词技术的优秀性能的前提下，提供了方便灵活的调用接口，以便于在其基础上的二次开发。1.2 产品的适用范围作为中文信息处理的核心和汉语自然语言理解的基础，海量中文智能分词基础件有着广泛的应用前景。主要应用领域有：1）信息检索领域如：全文检索、主题检索2）汉字处理领域智能拼音输入、手写识别输入、中文OCR 识别、自动校对、简繁转换3）语音处理领域语音合成、语音识别4）内容识别与分析领域信息摘录、自动文摘、自动标引、文本自动分类、自动过滤、数据挖掘5）自然语言理解领域机器翻译、自然语言接口1.3 产品结构

7、第二章 产品技术特点多年以来，中文分词技术一直是阻碍中文信息处理技术进一步发展的瓶颈。因为词是能独立活动的有意义的最小语言单位。在词的界定方面，中文不同于西文之处在于，西文词之间是有自然分隔符的，而中文却不具备，需要通过一定的技术手段进行处理，才能将词准确的分离出来，这就是分词技术。所以，西文基本上不用经过分词就可以直接进入到检索技术、短语划分、语义分析等更高一层的技术领域，而对于中文，只有越过这个技术瓶颈问题，分词的准确率足够高、分词速度足够快，中文的信息处理技术才有可能和西文的信息处理技术在一个起跑线上。分词是中文信息处理从字符处理水平向语义处理水平提升的关键技术之一，是中文智能计算技术的

8、基础。目前，中文分词技术普遍存在分词准确率低和分词效率不高两方面的问题，海量中文智能分词技术在这两方面都有所突破。通过研究发现，中文自动分词准确率低主要受以下几方面因素的困扰：1）词表收录2）分词规范3）新词识别4）歧义切分从纯技术角度来看，新词识别和歧义切分是困扰分词的两大技术难点。海量中文智能分词采用复方概念平衡各算法，使海量分词在大规模语料测试中的准确率达到了99.7%（北大语料封闭测试），分词效率2000 万字/分钟（测试环境为：内存512M DDR），该指标目前处于国内领先水平，已经达到实用要求。正因如此，海量承担了2000 年度国家863 计划课题“智能信息内容分析方法研究”。海量

9、在中文分词技术基础之上推出了海量中文智能分词基础件，作为国内最优秀的中文智能分词产品，海量中文智能分词基础件具有以下特点：准 切分准确率99.7%（北大语料封闭测试）快 2000万字/分钟（测试环境为：内存512M DDR）活 丰富的功能接口，使用灵活方便，例如：系统外挂分词规范，用户可自定义。2.1 分词准确率高海量分词算法借鉴复方的概念，集成各种算法解决同一个问题，发展了受限的隐马尔科夫模型, 使知识库的冗余大幅降低。同时，在歧义切分和新词识别上投入了很大的力量。海量分词综合采用了最大匹配法、逆向最大匹配法、单扫描分词法、有穷多层次列举法、二次扫描法、全切分、字标注的分词方法等等多种分词方

10、法，规则和统计相结合，最终是多种切分方案的选优，从而获得较为准确的分词结果。通过在北大语料库中的评测，其分词准确率达到99.7。2.2 分词效率高为了使分词能够达到实际应用的目的，海量对于该产品进行了效率优化工作。主要体现在：1）对于分词算法进行优化，特别是调度算法的优化设计，可以有效的降低计算的复杂度；2）对于分词基础件进行代码级的优化，从程序的逻辑设计以及执行步骤上进行优化，关键环节用汇编进行了翻写，从而可以最大程度的提升分词效率。通过以上的效率优化工作，分词效率达到每分钟2000万字，其测试环境为：内存512M DDR2.3 功能接口丰富，使用灵活方便海量中文智能分词基础件提供了丰富的接

11、口，以满足不同用户的需求。主要接口包括：分词初始化，码制选择，是否检索优化，是否需要格式化，分词模式，加载用户自定义词典以及其他附加信息的输出等等。通过这些接口的组合使用，可以满足目前所有的分词调用需求。第三章 产品功能介绍3.1 分词功能模块的介绍该产品的主要模块是中文分词模块，该模块可以实现将字序列的文本转化为词序列的文本。3.2 开发接口海量中文智能分词功能基础件对外提供了四类接口：1. 基本接口基本接口是使用本软件包所需的基本功能函数。海量中文智能分词功能基础件提供的基本接口有四个：1） HLInitSeg：初始化海量分词系统，加载分词用数据，可在ANSI和UNICODE版本中使用。2

12、） HLUnInitSeg：卸载海量中文智能分词基础件，释放分词所占资源。3） HLCreateSegHandle：创建自动中文分词结果句柄。 4） HLCloseSegHandle：关闭分词结果句柄，释放分词结果所占资源。 2. 分词接口 分词接口是用来对指定字符串进行分词的接口。海量中文智能分词功能基础件提供的分词接口有两个：1） HLSegment： 对指定字符串进行分词。2） HLSegmentEx： 3. 获取分词结果接口 获得分词结果接口是用于对分词后的结果进行获取的相关接口。海量中文智能分词功能基础件提供的获取分词结果接口有三个：1） HLGetResultCnt：得到分词结果中

13、的词的个数。2） HLGetResultBuff：得到分词结果的字符串空间。3） HLGetMin：得到指定的分词结果。 4. 其他接口 本软件包提供了用户自定义词典和英文通配符查找的相关接口。海量中文智能分词功能基础件提供的其他接口有两个：1） HLLoadUserDict：加载用户自定义词典。2） HLUnloadUserDict：卸载用户自定义词典。3.3 功能列表分词模式：为适应各种不同的需求，海量中文智能分词基础件目前提供三种分词结果模式：大模式、中模式和小模式。其中，小模式结果仅提供了词串信息；中模式结果提供了词串、词性、词号等结果信息；大模式结果不仅提供了词串、词性、词号信息，还

14、提供了句子号、段号等信息。在创建分词句柄时可以选择不同的模式，本文档只提供小模式，定义如下：宏定义 宏定义 SEGMENT_RESULT_MODE_NIN 小模式，只输出字符串指针数组附加计算标志：附加计算标志是为适应不同需求的用户而定，可以实现面向全文检索的分词优化。当不进行附加计算（标志取0值）时，只进行词形的切分，不作其他方面的计算。详细信息参看下表：取 值说 明0（默认值）不进行附加计算HL_ECF_OPT_SEARCH检索优化HL_ECF_OPT_SEARCH_EX 检索优化并转换相应码制格式化：对分词结果进行格式化是指将分词结果的英文和数字的全角字符转变成半角字符，将大写英文字符转化成小写英文如：转化后的结果为abc。在创建分词句柄（HLCreateSegHandle）时可以传入参数bIsFormat = true来进行格式化。分词支持的码制：海量分词软件包支持多种码制，包括：GB18030、BIG5、UNICODE。以代码页的形式实现，在调用分词接口时传入不同的参数即可实现不同码制的分词。代码页标志码 制