开源企业搜索引擎SOLR的应用教程.docx

开源企业搜索引擎SOLR的应用教程.docx

《开源企业搜索引擎SOLR的应用教程.docx》由会员分享，可在线阅读，更多相关《开源企业搜索引擎SOLR的应用教程.docx（77页珍藏版）》请在冰豆网上搜索。

开源企业搜索引擎SOLR的应用教程

开源企业搜索引擎SOLR的

应用教程

2010-10

目录

1概述4

1.1企业搜索引擎方案选型4

1.2Solr的特性4

1.2.1Solr使用Lucene并且进行了扩展4

1.2.2Schema（模式）5

1.2.3查询5

1.2.4核心5

1.2.5缓存5

1.2.6复制6

1.2.7管理接口6

1.3Solr服务原理6

1.3.1索引6

1.3.2搜索7

1.4源码结构8

1.4.1目录结构说明8

1.4.2Solrhome说明9

1.4.3solr的各包的说明10

1.5版本说明11

1.5.11.3版本11

1.5.21.4版本12

1.6分布式和复制Solr架构13

2Solr的安装与配置13

2.1在Tomcat下Solr安装13

2.1.1安装准备13

2.1.2安装过程14

2.1.3验证安装15

2.2中文分词配置15

2.2.1mmseg4j15

2.2.2paoding19

2.3多核（MultiCore）配置22

2.3.1MultiCore的配置方法22

2.3.2为何使用多core？

23

2.4配置文件说明23

2.4.1schema.xml24

2.4.2solrconfig.xml25

3Solr的应用29

3.1SOLR应用概述29

3.1.1Solr的应用模式29

3.1.2SOLR的使用过程说明30

3.2一个简单的例子30

3.2.1Solr Schema设计30

3.2.2构建索引30

3.2.3搜索测试31

3.3搜索引擎的规划设计32

3.3.1定义业务模型32

3.3.2定制索引服务34

3.3.3定制搜索服务34

3.4搜索引擎配置34

3.4.1Solr Schema设计（如何定制索引的结构?

）34

3.5如何进行索引操作？

36

3.5.1基本索引操作36

3.5.2批量索引操作37

3.6如何进行搜索39

3.6.1搜索语法39

3.6.2排序42

3.6.3字段增加权重42

3.6.4Solr分词器、过滤器、分析器42

3.6.5Solr高亮使用46

4SolrJ的用法46

4.1搜索接口的调用实例46

4.2Solrj的使用说明47

4.2.1AddingDatatoSolr47

4.2.2DirectlyaddingPOJOstoSolr49

4.2.3ReadingDatafromSolr51

4.3创建查询51

4.4使用SolrJ创建索引52

4.5Solrj包的结构说明53

4.5.1CommonsHttpSolrServer53

4.5.2SettingXMLResponseParser53

4.5.3ChangingotherConnectionSettings53

4.5.4EmbeddedSolrServer54

5Solr的实际应用测试报告54

5.1线下压力测试报告54

5.2线上环境运行报告54

6solr性能调优55

6.1SchemaDesignConsiderations55

6.1.1indexedfields55

6.1.2storedfields55

6.2ConfigurationConsiderations55

6.2.1mergeFactor55

6.2.2mergeFactorTradeoffs56

6.3CacheautoWarmCountConsiderations56

6.4Cachehitrate（缓存命中率）56

6.5ExplicitWarmingofSortFields56

6.6OptimizationConsiderations56

6.7UpdatesandCommitFrequencyTradeoffs56

6.8QueryResponseCompression57

6.9EmbeddedvsHTTPPost57

6.10RAMUsageConsiderations（内存方面的考虑）57

6.10.1OutOfMemoryErrors57

6.10.2MemoryallocatedtotheJavaVM57

7FAQ58

7.1出现乱码或者查不到结果的排查方法：

58

1概述

1.1企业搜索引擎方案选型

由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择：

1）基于Lucene自己进行封装实现站内搜索。

工作量及扩展性都较大，不采用。

2）调用Google、Baidu的API实现站内搜索。

同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。

3）基于Compass+Lucene实现站内搜索。

适合于对数据库驱动的应用数据进行索引，尤其是替代传统的like‘%expression%’来实现对varchar或clob等字段的索引，对于实现站内搜索是一种值得采纳的方案。

但在分布式处理、接口封装上尚需要自己进行一定程度的封装。

4）基于Solr实现站内搜索。

封装及扩展性较好，提供了较为完备的解决方案，因此在门户社区中采用此方案。

基于以述的几种方案的综合分析，对于我们公司的搜索引擎方案，采用solr来实现比较合适。

1.2Solr的特性

ApacheSolr是一个开源的搜索服务器，Solr使用Java语言开发，主要基于HTTP和ApacheLucene实现。

定制Solr索引的实现方法很简单，用POST方法向Solr服务器发送一个描述所有Field及其内容的XML文档就可以了。

定制搜索的时候只需要发送HTTPGET请求即可，然后对Solr返回的信息进行重新布局，以产生利于用户理解的页面内容布局。

Solr1.3版本开始支持从数据库（通过JDBC）、RSS提要、Web页面和文件中导入数据，但是不直接支持从二进制文件格式中提取内容，比如MSOffice、AdobePDF或其他专有格式。

更重要的是，Solr创建的索引与Lucene搜索引擎库完全兼容。

通过对Solr进行适当的配置，某些情况下可能需要进行编码，Solr可以阅读和使用构建到其他Lucene应用程序中的索引。

此外，很多Lucene工具（如Nutch、Luke）也可以使用Solr创建的索引

Solr的特性包括：

✓高级的全文搜索功能

✓专为高通量的网络流量进行的优化

✓基于开放接口（XML和HTTP）的标准

✓综合的HTML管理界面

✓可伸缩性－能够有效地复制到另外一个Solr搜索服务器

✓使用XML配置达到灵活性和适配性

✓可扩展的插件体系

1.2.1Solr使用Lucene并且进行了扩展

✓一个真正的拥有动态域（DynamicField）和唯一键（UniqueKey）的数据模式（DataSchema）

✓对Lucene查询语言的强大扩展！

✓支持对结果进行动态的分组和过滤

✓高级的，可配置的文本分析

✓高度可配置和可扩展的缓存机制

✓性能优化

✓支持通过XML进行外部配置

✓拥有一个管理界面

✓可监控的日志

✓支持高速增量式更新（FastincrementalUpdates）和快照发布（SnapshotDistribution）

1.2.2Schema（模式）

✓定义域类型和文档的域

✓能够驱动智能处理

✓声明式的Lucene分析器规范

✓动态域能够随时增加域

✓拷贝域功能允许对一个域进行多种方式的索引，或者将多个域联合成一个可搜索的域

✓显式类型能够减少对域类型的猜测

✓能够使用外部的基于文件的终止词列表，同义词列表和保护词列表的配置

1.2.3查询

✓拥有可配置响应格式（XML/XSLT,JSON,Python,Ruby）的HTTP接口

✓高亮的上下文搜索结果

✓基于域值和显式查询的片段式搜索（FacetedSearch）

✓对查询语言增加了排序规范

✓常量的打分范围（Constantscoringrange）和前缀式查询－没有idf,coord,或者lengthNorm因子，对查询匹配的词没有数量限制

✓函数查询（FunctionQuery）-通过关于一个域的数值或顺序的函数对打分进行影响

✓性能优化

1.2.4核心

✓可插拔的查询句柄（QueryHandler）和可扩展的XML数据格式

✓使用唯一键的域能够增强文档唯一性

✓能够高效地进行批量更新和删除

✓用户可配置的文档索引变化触发器（命令）

✓并发控制的搜索器

✓能够正确处理数字类型，从而能够进行排序和范围搜索

✓能够控制缺失排序域的文档

✓支持搜索结果的动态分组

1.2.5缓存

✓可配置的查询结果，过滤器，和文档缓存实例

✓可插拔的缓存实现

✓后台缓存热启：

当一个新的搜索器被打开时，可配置的搜索将它热启，避免第一个结果慢下来，当热启时，当前搜索器处理目前的请求（？

？

？

）。

✓后台自动热启：

当前搜索器缓存中最常访问的项目在新的搜索器中再次生成，能够在索引器和搜索器变化的时候高速缓存常查询的结果

✓快速和小的过滤器实现

✓支持自动热启的用户级别的缓存

1.2.6复制

✓能够将使用rsync传输时改变的索引部分有效的发布

✓使用拉策略（PullStrategy）来简化增加搜索器

✓可配置的发布间隔能够允许对时间线和缓存使用进行权衡选择

1.2.7管理接口

✓能够对缓存使用，更新和查询进行综合统计

✓文本分析调试器，能够显示每个分析器每个阶段的结果

✓基于WEB的查询和调试输出：

解析查询输出，Lucene的explain方法细节，能够解释为何某个文档打分低，被排除在结果中等等

1.3Solr服务原理 

Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。

在Solr中，用户通过向部署在servlet容器中的SolrWeb应用程序发送HTTP请求来启动索引和搜索。

Solr接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。

通过HTTP以同样的方式返回响应。

默认配置返回Solr的标准XML响应，也可以配置Solr的备用响应格式。

1.3.1索引 

可以向Solr索引servlet传递四个不同的索引请求：

1）add/update允许向Solr添加文档或更新文档。

直到提交后才能搜索到这些添加和更新。

2）commit告诉Solr，应该使上次提交以来所做的所有更改都可以搜索到。

3）optimize重构Lucene的文件以改进搜索性能。

索引完成后执行一下优化通常比较好。

如果更新比较频繁，则应该在使用率较低的时候安排优化。

一个索引无需优化也可以正常地运行。

优化是一个耗时较多的过程。

4）delete可以通过id或查询来指定。

按id删除将删除具有指定id的文档；按查询删除将删除查询返回的所有文档。