solr自学详细教程.docx

上传人:b****6 文档编号:5660267 上传时间:2022-12-30 格式:DOCX 页数:37 大小:729.91KB
下载 相关 举报
solr自学详细教程.docx_第1页
第1页 / 共37页
solr自学详细教程.docx_第2页
第2页 / 共37页
solr自学详细教程.docx_第3页
第3页 / 共37页
solr自学详细教程.docx_第4页
第4页 / 共37页
solr自学详细教程.docx_第5页
第5页 / 共37页
点击查看更多>>
下载资源
资源描述

solr自学详细教程.docx

《solr自学详细教程.docx》由会员分享,可在线阅读,更多相关《solr自学详细教程.docx(37页珍藏版)》请在冰豆网上搜索。

solr自学详细教程.docx

solr自学详细教程

 

Solr

全文检索服务

企业站内搜索技术选型

在一些大型门户网站、电子商务网站等都需要站内搜索功能,使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求,比如:

搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等,这里就需要使用全文检索技术实现搜索功能。

单独使用Lucene实现

单独使用Lucene实现站内搜索需要开发的工作量较大,主要表现在:

索引维护、索引性能优化、搜索性能优化等,因此不建议采用。

使用Google或Baidu接口

通过第三方搜索引擎提供的接口实现站内搜索,这样和第三方引擎系统依赖紧密,不方便扩展,不建议采用。

使用Solr实现

基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量,因为Solr提供了较为完备的搜索引擎解决方案,因此在门户、论坛等系统中常用此方案。

什么是Solr

什么是Solr

Solr是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。

Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。

Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr索引的实现方法很简单,用POST方法向Solr服务器发送一个描述Field及其内容的XML文档,Solr根据xml文档添加、删除、更新索引。

Solr搜索只需要发送HTTPGET请求,然后对Solr返回Xml、json等格式的查询结果进行解析,组织页面布局。

Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。

 

Solr与Lucene的区别

Lucene是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,Lucene提供了完整的查询引擎和索引引擎,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者以Lucene为基础构建全文检索引擎。

Solr的目标是打造一款企业级的搜索引擎系统,它是一个搜索引擎服务,可以独立运行,通过Solr可以非常快速的构建企业的搜索引擎,通过Solr也可以高效的完成站内搜索功能。

1Solr安装配置

1.1下载

从Solr官方网站(http:

//lucene.apache.org/solr/)下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip。

Solr使用指南可参考:

https:

//wiki.apache.org/solr/FrontPage。

下载lucene-4.10.3.zip并解压:

bin:

solr的运行脚本

contrib:

solr的一些贡献软件/插件,用于增强solr的功能。

dist:

该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。

docs:

solr的API文档

example:

solr工程的例子目录:

●example/solr:

该目录是一个包含了默认配置信息的Solr的Core目录。

●example/multicore:

该目录包含了在Solr的multicore中设置的多个Core目录。

●example/webapps:

该目录中包括一个solr.war,该war可作为solr的运行实例工程。

licenses:

solr相关的一些许可信息

 

1.2运行环境

solr需要运行在一个Servlet容器中,Solr4.10.3要求jdk使用1.7以上,Solr默认提供Jetty(java写的Servlet容器),本教程使用Tocmat作为Servlet容器,环境如下:

Solr:

Solr4.10.3

Jdk:

jdk1.7.0_72

Tomcat:

apache-tomcat-7.0.53

 

1.3Solr与Tomcat整合配置

1.3.1SolrHome与SolrCore

创建一个Solrhome目录,SolrHome是Solr运行的主目录,目录中包括了运行Solr实例所有的配置文件和数据文件,Solr实例就是SolrCore,一个SolrHome可以包括多个SolrCore(Solr实例),每个SolrCore提供单独的搜索和索引服务。

目录结构

example\solr是一个solrhome目录结构,如下:

上图中“collection1”是一个SolrCore(Solr实例)目录,目录内容如下所示:

说明:

collection1:

叫做一个Solr运行实例SolrCore,SolrCore名称不固定,一个solr运行实例对外单独提供索引和搜索接口。

solrHome中可以创建多个solr运行实例SolrCore。

一个solr的运行实例对应一个索引目录。

conf是SolrCore的配置文件目录。

data目录存放索引文件需要创建

配置

创建目录F:

\develop\solr

1.将example\solr目录拷贝至F:

\develop\solr目录下并改名为solrhome

1.3.1.1solrconfig.xml

solrconfig.xml,在SolrCore的conf目录下,它是SolrCore运行的配置文件。

1.3.1.1.1加载jar包

将contrib和dist两个目录拷贝到F:

\develop\solr下,修改solrconfig.xml文件:

1.3.1.1.2dataDir

配置SolrCore的数据目录,数据目录下包括了index索引目录和tlog日志文件目录,数据目录默认在solrCore下的data目录,也可以更改目录地址,如下:

1.3.1.1.3requestHandler

requestHandler请求处理器,定义了索引和搜索的访问方式。

通过/update维护索引,可以完成索引的添加、修改、删除操作。

提交xml、json数据完成索引维护,索引维护小节详细介绍。

 

通过/select搜索索引。

设置搜索参数完成搜索,搜索参数也可以设置一些默认值,如下:

--设置默认的参数值,可以在请求地址中修改这些参数-->

explicit

10

--显示数量-->

json

--显示格式-->

text

--默认搜索字段-->

 

Solr工程部署

1.将dist\solr-4.10.3.war拷贝到Tomcat的webapp目录下改名为solr.war

2.启动tomcat后,solr.war自动解压,将原来的solr.war删除。

3.拷贝example\lib\ext目录下所有jar包到Tomcat的webapp\solr\WEB-INF\lib目录下

 

4.拷贝log4j.properties文件

在Tomcat下webapps\solr\WEB-INF目录中创建文件classes文件夹,

复制Solr目录下example\resources\log4j.properties至Tomcat下webapps\solr\WEB-INF\classes目录

 

5.创建solrhome及配置solrcore的solrconfig.xml文件

6.修改Tomcat目录下webapp\solr\WEB-INF\web.xml文件,如下所示:

设置Solrhome

--配置jndi告诉solr工程我们的solrhome的位置-->

solr/home

D:

/temp/solr/solrhome

java.lang.String

 

1.3.2启动Tomcat

访问http:

//localhost:

8080/solr

 

1.4管理界面

1.4.1Dashboard:

仪表盘,显示了该Solr实例开始启动运行的时间、版本、系统资源、jvm等信息。

1.4.2Logging:

Solr运行日志信息

1.4.3Cloud:

Cloud即SolrCloud,即Solr云(集群),当使用SolrCloud模式运行时会显示此菜单,如下图是SolrCloud的管理界面:

1.4.4CoreAdmin:

SolrCore的管理界面。

SolrCore是Solr的一个独立运行实例单位,它可以对外提供索引和搜索服务,一个Solr工程可以运行多个SolrCore(Solr实例),一个Core对应一个索引目录。

 

1.4.5javaproperties

Solr在JVM运行环境中的属性信息,包括类路径、文件编码、jvm内存设置等信息。

1.4.6TreadDump

显示SolrServer中当前活跃线程信息,同时也可以跟踪线程运行栈信息。

1.4.7Coreselector

选择一个SolrCore进行详细操作,如下:

 

1.4.8Analysis(重点)

通过此界面可以测试索引分析器和搜索分析器的执行情况。

1.4.9dataimport

可以定义数据导入处理器,从关系数据库将数据导入到Solr索引库中。

 

Document(重点)

通过此菜单可以创建索引、更新索引、删除索引等操作,界面如下:

/update表示更新索引,solr默认根据id(唯一约束)域来更新Document的内容,如果根据id值搜索不到id域则会执行添加操作,如果找到则更新。

 

1.4.10query(重点)

通过/select执行搜索索引,必须指定“q”查询条件方可搜索。

 

1.5多core配置

配置多core的好处:

1、将索引数据分core存储方便管理。

2、solrCloud集群需要使用多core。

复制原来的core目录为collection2,目录结构如下:

修改collection2下的core.properties,如下:

演示多core的使用,在collection1和collection2中分别创建索引、搜索索引。

 

2Solr索引

 

2.1scheam.xml

schema.xml,在SolrCore的conf目录下,它是Solr数据表配置文件,它定义了加入索引的数据的数据类型的。

主要包括FieldTypes、Fields和其他的一些缺省设置。

FieldType域类型定义

下边“text_general”是Solr默认提供的FieldType,通过它说明FieldType定义的内容:

FieldType子结点包括:

name,class,positionIncrementGap等一些参数:

name:

是这个FieldType的名称

class:

是Solr提供的包solr.TextField,solr.TextField允许用户通过分析器来定制索引和查询,分析器包括一个分词器(tokenizer)和多个过滤器(filter)

positionIncrementGap:

可选属性,定义在同一个文档中此类型数据的空白间隔,避免短语匹配错误,此值相当于Lucene的短语查询设置slop值,根据经验设置为100。

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

索引分析器中:

使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,solr.LowerCaseFilterFactory小写过滤器。

搜索分析器中:

使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,这里还用到了solr.SynonymFilterFactory同义词过滤器。

Field定义

在fields结点内定义具体的Field,filed定义包括name,type(为之前定义过的各种FieldType),indexed(是否被索引),stored(是否被储存),multiValued(是否存储多个值)等属性。

如下:

multiValued:

该Field如果要存储多个值时设置为true,solr允许一个Field存储多个值,比如存储一个用户的好友id(多个),商品的图片(多个,大图和小图),通过使用solr查询要看出返回给客户端是数组:

 

uniqueKey

Solr中默认定义唯一主键key为id域,如下:

Solr在删除、更新索引时使用id域进行判断,也可以自定义唯一主键。

注意在创建索引时必须指定唯一约束。

copyField复制域

copyField复制域,可以将多个Field复制到一个Field中,以便进行统一的检索:

比如,输入关键字搜索title标题内容content,

定义title、content、text的域:

根据关键字只搜索text域的内容就相当于搜索title和content,将title和content复制到text中,如下:

 

dynamicField(动态字段)

动态字段就是不用指定具体的名称,只要定义字段名称的规则,例如定义一个dynamicField,name为*_i,定义它的type为text,那么在使用这个字段的时候,任何以_i结尾的字段都被认为是符合这个定义的,例如:

name_i,gender_i,school_i等。

自定义Field名为:

product_title_t,“product_title_t”和scheam.xml中的dynamicField规则匹配成功,如下:

“product_title_t”是以“_t”结尾。

创建索引:

搜索索引:

 

2.2Analyzer

 

安装中文分词器

2.2.1.1IKAnalyzer部署

拷贝IKAnalyzer的文件到Tomcat下Solr目录中

将IKAnalyzer2012FF_u1.jar拷贝到Tomcat的webapps/solr/WEB-INF/lib下。

在Tomcat的webapps/solr/WEB-INF/下创建classes目录

将IKAnalyzer.cfg.xml、ext_stopword.dicmydict.diccopy到Tomcat的

webapps/solr/WEB-INF/classes

注意:

ext_stopword.dic和mydict.dic必须保存成无BOM的utf-8类型。

2.2.1.2修改schema.xml文件

1.FieldType

首先需要在types结点内定义一个FieldType子结点,包括name,class,等参数,name就是这个FieldType的名称,class指向org.apache.solr.analysis包里面对应的class名称,用来定义这个类型的行为。

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

修改Solr的schema.xml文件,添加FieldType:

--IKAnalyzer-->

 

2.Field:

FieldType定义好后就可以在fields结点内定义具体的field,filed定义包括name,type(即FieldType),indexed(是否被索引),stored(是否被储存),multiValued(是否有多个值)等

--IKAnalyzerField-->

测试

2.3设置业务系统Field

如果不使用Solr提供的Field可以针对具体的业务需要自定义一套Field,如下是商品信息Field:

--product-->

 

2.4索引维护

使用/update进行索引维护,进入Solr管理界面SolrCore下的Document下:

overwrite="true":

solr在做索引的时候,如果文档已经存在,就用xml中的文档进行替换

commitWithin="10000":

solr在做索引的时候,每个10000(10秒)毫秒,做一次文档提交。

为了方便测试也可以在Document中立即提交,在后边添加“”,如下:

change.me

change.me

添加/更新索引

solr默认根据id(唯一约束)域来更新Document的内容,如果根据id值搜索不到id域则会执行添加操作,如果找到则更新。

请求xml格式如下:

change.me

">?

说明:

唯一标识Field必须有,这里使用Solr默认的id。

 

删除索引

删除索引格式如下:

1)删除制定ID的索引

8

2)删除查询到的索引数据

product_catalog_name:

幽默杂货

3)删除所有索引数据

*:

*

 

2.5dataimport-handler

安装dataimport-Handler从关系数据库将数据导入到索引库。

第一步:

向SolrCore中加入jar包

在SolrCore目录中创建lib目录,将dataimportHandler和mysql数据库驱动的jar拷贝至lib下:

dataimportHandler在solr安装目录的dist下:

 

第二步:

修改solrconfig.xml,添加requestHandler:

class="org.apache.solr.handler.dataimport.DataImportHandler">

data-config.xml

 

第三步:

编辑data-config.xml文件,存放在SolrCore的conf目录

xmlversion="1.0"encoding="UTF-8"?

>

driver="com.mysql.jdbc.Driver"

url="jdbc:

mysql:

//localhost:

3306/lucene"

user="root"

password="root"/>

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 经管营销

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1