如何使用solr创建富文本索引
Solr支持从富文本文件中，如pdf,word中抽取内容建立索引。
首先，需要配置支持这一功能的requestHandler。编辑solrconfig.xml,加入：
requestHandler name=”/update/extract” class=”solr.extraction.ExtractingRequestHandler”
lst name=”defaults”
str name=”fmap.content”content/str
str name=”fmap.Content-Type”Content-Type/str
str name=”uprefix”ignored_/str
/lst
lst name=”date.formats”
stryyyy-MM-dd/str
/lst
/requestHandler
solr.extraction.ExtractingRequestHandler就是solr中用来处理富文本的handler。为了使用这个类我们我们需要拷贝jar包：solr-dataimporthandler-extras.jar到lib目录，并确认solrconfig.xml中的lib配置包含它。
div class=”alert alert-info” role=”info”
ExtractingRequestHandler底层实际是使用apache Tika进行文件内容抽取的，
/div
调用/update/extract完成文件索引
调用/update/extrac的方式有很多种，下面介绍使用solr4j api在java工程里调用：
//建立客户端连接
SolrClient client=new HttpSolrClient(“”);
//单个文件索引
public void indexFromFile(String fileName,String id) throws Exception{
//ContentStreamUpdateRequest 是专门用来提交文件的
ContentStreamUpdateRequest request=new ContentStreamUpdateRequest(“/update/extract”);
String contentType=”application/text”;
request.addFile(new File(fileName), contentType);
//literal.xxx 文件以外的字段，xxx将直接映射到schema.xml中的同名字段
request.setParam(“literal.id”, String.valueOf(id));
request.setParam(“literal.author”, author);
request.setParam(“literal.title”, tilte);
request.setAction(AbstractUpdateRequest.ACTION.OPTIMIZE, true, true);
client.request(request);
client.commit();
}
public static void main(String[] args) {
try{
SolrMananger client=new SolrMananger();
client.indexFromFile(“e:/apache-solr-ref-guide-5.3.pdf”, 1, “Justn”, “solr-ref”);
}catch(Exception e){
e.printStackTrace();
}
}
运行后，查看solr控制台，使用query验证文件是否成功索引。
教你使用solr搭建你的全文检索
Solr 是一个可供企业使用的 基于 Lucene 的开箱即用的搜索服务器 对Lucene不熟？那么建议先看看下面两篇文档
实战Lucene 第 部分 初识 Lucene lo lucene /
用Lucene加速Web搜索应用程序的开发 lucene /
一 solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎 目前是apache的一个项目 它的官方网址在 solr需要运行在一个servlet 容器里 例如tomcat solr在lucene的上层提供了一个基于HTTP/XML的Web Services 我们的应用需要通过这个服务与solr进行交互
二 solr安装和配置
关于solr的安装和配置 这里也有两篇非常好的文档 作者同时也是 Lucene Java 项目的提交人和发言人
使用Apache Solr实现更加灵巧的搜索 solr /l
solr /l
下面主要说说需要注意的地方
Solr的安装非常简单 下载solr的zip包后解压缩将dist目录下的war文件改名为solr war直接复制到tomcat 的webapps目录即可 注意一定要设置solr的主位置 有三种方法 我采用的是在tomcat里配置java p/env/solr/home的一个JNDI指向solr的主目录（example目录下） 建立/tomcat /conf/Catalina/www.easyaq.com/solr xml文件
Context docBase= D:/solr war debug= crossContext= true Environment name= solr/home type= java lang String value= D:/solr/solr override= true //Context
观察这个指定的solr主位置 里面存在两个文件夹 conf和data 其中conf里存放了对solr而言最为重要的两个配置文件schema xml和solrconfig xml data则用于存放索引文件
schema xml主要包括types fields和其他的一些缺省设置
solrconfig xml用来配置Solr的一些系统属性 例如与索引和查询处理有关的一些常见的配置选项 以及缓存 扩展等等
上面的文档对这两个文件有比较详细的说明 非常容易上手 注意到schema xml里有一个
uniqueKeyurl/uniqueKey
的配置 这里将url字段作为索引文档的唯一标识符 非常重要
三 加入中文分词
对全文检索而言 中文分词非常的重要 这里采用了qieqie庖丁分词（非常不错 ）） 集成非常的容易 我下载的是 alpha 版本 其中它支持最多切分和按最大切分 创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory
/** * Created by IntelliJ IDEA * User: ronghao * Date: * Time: : : * 中文切词 对庖丁切词的封装 */ public class ChineseTokenizerFactory extends BaseTokenizerFactory { /** * 最多切分 默认模式 */ public static final String MOST_WORDS_MODE = most words ; /** * 按最大切分 */ public static final String MAX_WORD_LENGTH_MODE = max word length ; private String mode = null; public void setMode(String mode) { if (mode==null||MOST_WORDS_MODE equalsIgnoreCase(mode) || default equalsIgnoreCase(mode)) { this mode=MOST_WORDS_MODE; } else if (MAX_WORD_LENGTH_MODE equalsIgnoreCase(mode)) { this mode=MAX_WORD_LENGTH_MODE; } else { throw new IllegalArgumentException( 不合法的分析器Mode 参数设置: + mode); } } @Override public void init(Map args) { super init(args); setMode(args get( mode )); } public TokenStream create(Reader input) { return new PaodingTokenizer(input PaodingMaker make() createTokenCollector()); } private TokenCollector createTokenCollector() { if( MOST_WORDS_MODE equals(mode)) return new MostWordsTokenCollector(); if( MAX_WORD_LENGTH_MODE equals(mode)) return new MaxWordLengthTokenCollector(); throw new Error( never happened ); } }
在schema xml的字段text配置里加入该分词器
fieldtype name= text class= solr TextField positionIncrementGap=
*** yzer type= index
tokenizer class= ronghao fulltextsearch *** yzer ChineseTokenizerFactory mode= most words / filter class= solr StopFilterFactory ignoreCase= true words= stopwords txt /
filter class= solr WordDelimiterFilterFactory generateWordParts= generateNumberParts= catenateWords= catenateNumbers= catenateAll= /
filter class= solr LowerCaseFilterFactory /
filter class= solr RemoveDuplicatesTokenFilterFactory /
/ *** yzer
*** yzer type= query
tokenizer class= ronghao fulltextsearch *** yzer ChineseTokenizerFactory mode= most words /
filter class= solr SynonymFilterFactory synonyms= synonyms txt ignoreCase= true expand= true /
filter class= solr StopFilterFactory ignoreCase= true words= stopwords txt /
filter class= solr WordDelimiterFilterFactory generateWordParts= generateNumberParts= catenateWords= catenateNumbers= catenateAll= /
filter class= solr LowerCaseFilterFactory /
filter class= solr RemoveDuplicatesTokenFilterFactory /
/ *** yzer
/fieldtype
完成后重启tomcat 即可在
体验到庖丁的中文分词 注意要将paoding *** ysis jar复制到solr的lib下 注意修改jar包里字典的home
四 与自己应用进行集成
Solr安装完毕 现在可以将自己的应用与solr集成 其实过程非常的简单 应用增加数据——根据配置的字段构建add的xml文档——post至solr/update
应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档——post至solr/update
检索数据à构建查询xml—get至/solr/select/——对solr返回的xml进行处理——页面展现
具体的xml格式可以在solr网站找到 另外就是solr支持高亮显示 非常方便
关于中文 solr内核支持UTF 编码 所以在tomcat里的server xml需要进行配置
Connector port= maxHttpHeaderSize= URIEncoding= UTF …/
另外 向solr Post请求的时候需要转为utf 编码 对solr 返回的查询结果也需要进行一次utf 的转码 检索数据时对查询的关键字也需要转码 然后用 + 连接
String[] array = StringUtils split(query null ); for (String str : array) { result = result + URLEncoder encode(str UTF ) + + ; }
lishixinzhi/Article/program/Java/hx/201311/25984
java怎么调用solr查询接口
solr官方网站
下面是一个例子：
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.params.ModifiableSolrParams;
import java.net.MalformedURLException;
public class Main {
public static void main(String[] args) throws MalformedURLException, SolrServerException {
SolrServer server = new CommonsHttpSolrServer(“”);
ModifiableSolrParams params = new ModifiableSolrParams();
// 查询关键词
params.set(“q”, “2010”);
// 分页，，start=0就是从0开始，，rows=5当前返回5条记录，，，第二页就是变化start这个值为5就可以了。
params.set(“start”, 0);
params.set(“rows”, 5);
// 排序，，如果按照id 排序，，那么将score desc 改成 id desc(or asc)
params.set(“sort”, “score desc”);
// 返回信息 * 为全部 这里是全部加上score，如果不加下面就不能使用score
params.set(“fl”, “*,score”);
QueryResponse response = server.query(params);
// 搜索得到的结果数
System.out.println(“Find:”+ response.getResults().getNumFound()+”\n\n”);
// 输出结果
for(SolrDocument doc:response.getResults())
{
System.out.println(“id: ” + doc.getFieldValue(“id”).toString());
System.out.println(“title: ” + doc.getFieldValue(“title”).toString()+”\n”);
}
}
}
微信扫一扫 
支付宝扫一扫 
