Lucene+HighLighter高亮显示实例 lucene高亮实例

发布时间：2024年11月06日 17:54:14分享人:全职保姆来源:互联网22
今天搞了一个关于Lucene的例子，权当入门教程。网上有很多资料，但是要么不全、要么不好用，所以这里把全部代码以及依赖的包贴上来了。



功能包括：创建索引、检索索引、高亮显示查询结果。分词使用的庖丁解牛。



使用前先下载相关的LuceneCore jar包、LuceneHighLighterjar包、庖丁解牛分分词jar包、庖丁解牛词典。并设定环境变量PAODING_DIC_HOME指向词典位置。

前两个可以到官方网站找，庖丁去http://code.google.com/p/paoding/downloads/list下载。



Lucene庖丁整合方式1：

1、将paoding-analysis.jar拷贝到项目的WEB-INF/lib目录;
2、接着需要设置环境变量PAODING_DIC_HOME,变量名:PAODING_DIC_HOME变量值:E:paodingdic
3、第三步将E:paodingsrc目录下的paoding-dic-home.properties属性文件拷贝到项目的src目录下,添加2行

paoding.dic.home.config-fisrt=this
paoding.dic.home=E:/paoding/dic

Lucene庖丁整合方式2：

修改E:paodingsrcpaoding-dic-home.properties,增加一行

paoding.dic.home=classpath:dic

然后运行ant重新生成一个庖丁jar，拷贝到lib下就OK了。

第一种方式便于更新字典，第二种便于移植。本例使用第二种方法整合。

关于庖丁环境的设置可以参考netpaodinganalysisConstants.java。





使用时注意LuceneCore和LuceneHighLighter的版本配置。我开始使用lucene-core-2.3.2.jar+Highlighter2.4，后台报错，明显的版本问题。现在使用的是Lucene 2.3.2 + Highlighter 2.2.0。



主要代码实现：

CreateIndex：创建索引文件
Java代码
  1. packagedemo;
  3. importjava.io.BufferedReader;
  4. importjava.io.File;
  5. importjava.io.FileInputStream;
  6. importjava.io.IOException;
  7. importjava.io.InputStreamReader;
  8. importjava.util.Date;
  10. importnet.paoding.analysis.analyzer.PaodingAnalyzer;
  12. importorg.apache.lucene.analysis.Analyzer;
  13. importorg.apache.lucene.document.Document;
  14. importorg.apache.lucene.document.Field;
  15. importorg.apache.lucene.index.IndexWriter;
  19. publicclassCreateIndex{
  21. publicvoidcreateIndex()throwsException{
  23. FilesurceFileDir=newFile("D:\save\source");
  26. FileindexFileDir=newFile("D:\save");
  28. //AnalyzerluceneAnalyzer=newStandardAnalyzer();
  29. AnalyzerluceneAnalyzer=newPaodingAnalyzer();//使用庖丁解牛分词法
  31. IndexWriterindexWriter=newIndexWriter(indexFileDir,luceneAnalyzer,true);///参数isEmpty是false表示增量索引
  32. File[]sourceFextFiles=surceFileDir.listFiles();
  33. longstartTime=newDate().getTime();
  35. //增加document到索引去
  36. for(inti=0;i<sourceFextFiles.length;i++){
  37. if(sourceFextFiles[i].isFile()
  38. &&sourceFextFiles[i].getName().endsWith(".txt")){
  39. System.out.println("File"+sourceFextFiles[i].getCanonicalPath()+"正在被索引....");
  40. Stringtemp=FileReaderAll(sourceFextFiles[i].getCanonicalPath(),"GBK");
  41. System.out.println(temp);
  42. Documentdocument=newDocument();
  43. FieldFieldPath=newField("path",sourceFextFiles[i].getPath(),Field.Store.YES,Field.Index.NO);
  44. FieldFieldBody=newField("body",temp,Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS);
  45. FieldFieldTitle=newField("title",temp,Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS);
  46. document.add(FieldPath);
  47. document.add(FieldBody);document.add(FieldTitle);
  48. indexWriter.addDocument(document);
  49. }
  50. }
  51. //optimize()方法是对索引进行优化
  52. indexWriter.optimize();
  53. indexWriter.close();
  55. //测试一下索引的时间
  56. longendTime=newDate().getTime();
  57. System.out.println("这花费了"+(endTime-startTime)+"毫秒来把文档增加到索引里面去!"
  58. +indexFileDir.getPath());
  59. }
  61. publicstaticStringFileReaderAll(StringFileName,Stringcharset)
  62. throwsIOException{
  63. BufferedReaderreader=newBufferedReader(newInputStreamReader(
  64. newFileInputStream(FileName),charset));
  65. Stringline=newString();
  66. Stringtemp=newString();
  68. while((line=reader.readLine())!=null){
  69. temp+=line;
  70. }
  71. reader.close();
  72. returntemp;
  73. }
  76. publicstaticvoidmain(String[]args){
  77. try{
  78. newCreateIndex().createIndex();
  79. }catch(Exceptione){
  80. e.printStackTrace();
  81. }
  83. }
  85. }
package demo;     import java.io.BufferedReader;   import java.io.File;   import java.io.FileInputStream;   import java.io.IOException;   import java.io.InputStreamReader;   import java.util.Date;     import net.paoding.analysis.analyzer.PaodingAnalyzer;     import org.apache.lucene.analysis.Analyzer;   import org.apache.lucene.document.Document;   import org.apache.lucene.document.Field;   import org.apache.lucene.index.IndexWriter;         public class CreateIndex {              public void createIndex() throws Exception {                     File surceFileDir = new File("D:\save\source");                       File indexFileDir = new File("D:\save");                      //Analyzer luceneAnalyzer = new StandardAnalyzer();           Analyzer luceneAnalyzer = new PaodingAnalyzer();//使用庖丁解牛分词法                      IndexWriter indexWriter = new IndexWriter(indexFileDir, luceneAnalyzer, true);///参数isEmpty是false表示增量索引           File[] sourceFextFiles = surceFileDir.listFiles();           long startTime = new Date().getTime();             // 增加document到索引去           for (int i = 0; i < sourceFextFiles.length; i++) {               if (sourceFextFiles[i].isFile()                       && sourceFextFiles[i].getName().endsWith(".txt")) {                   System.out.println("File " + sourceFextFiles[i].getCanonicalPath() + "正在被索引....");                   String temp = FileReaderAll(sourceFextFiles[i].getCanonicalPath(), "GBK");                   System.out.println(temp);                   Document document = new Document();                   Field FieldPath = new Field("path", sourceFextFiles[i].getPath(), Field.Store.YES, Field.Index.NO);                   Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS);                   Field FieldTitle = new Field("title", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS);                   document.add(FieldPath);                   document.add(FieldBody);document.add(FieldTitle);                   indexWriter.addDocument(document);               }           }           // optimize()方法是对索引进行优化           indexWriter.optimize();           indexWriter.close();             // 测试一下索引的时间           long endTime = new Date().getTime();           System.out.println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!"                  + indexFileDir.getPath());       }         public static String FileReaderAll(String FileName, String charset)               throws IOException {           BufferedReader reader = new BufferedReader(new InputStreamReader(                   new FileInputStream(FileName), charset));           String line = new String();           String temp = new String();             while ((line = reader.readLine()) != null) {               temp += line;           }           reader.close();           return temp;       }               public static void main(String[] args) {           try {               new CreateIndex().createIndex();           } catch (Exception e) {               e.printStackTrace();           }         }     }

QueryHighLighter：检索关键字并高亮显示
Java代码
  1. packagedemo;
  3. importjava.io.StringReader;
  5. importnet.paoding.analysis.analyzer.PaodingAnalyzer;
  7. importorg.apache.lucene.analysis.Analyzer;
  8. importorg.apache.lucene.analysis.TokenStream;
  9. importorg.apache.lucene.document.Document;
  10. importorg.apache.lucene.queryParser.QueryParser;
  11. importorg.apache.lucene.search.BooleanClause;
  12. importorg.apache.lucene.search.IndexSearcher;
  13. importorg.apache.lucene.search.Query;
  14. importorg.apache.lucene.search.ScoreDoc;
  15. importorg.apache.lucene.search.TopDocCollector;
  16. importorg.apache.lucene.search.highlight.Highlighter;
  17. importorg.apache.lucene.search.highlight.QueryScorer;
  18. importorg.apache.lucene.search.highlight.SimpleFragmenter;
  19. importorg.apache.lucene.search.highlight.SimpleHTMLFormatter;
  21. importtest.TestLuceneHighlighter2;
  25. publicclassQueryHighLighter{
  27. privatestaticfinalStringFIELD_TITLE="title";
  29. privatestaticfinalStringFIELD_BODY="body";
  31. publicsynchronizedAnalyzergetAnalyzer(){
  32. returnnewPaodingAnalyzer();//此处使用"庖丁解牛"分词法，另外一种是中科院分词法
  33. }
  35. publicStringtest(StringqueryString,intbegin,intnumber){
  36. StringBuffersb=newStringBuffer();
  37. IndexSearcherisearcher=null;
  38. try{
  39. isearcher=newIndexSearcher("D:\save");
  41. BooleanClause.Occur[]clauses={BooleanClause.Occur.SHOULD,
  42. BooleanClause.Occur.SHOULD};
  43. TopDocCollectorcollector=newTopDocCollector(10);
  45. QueryParserqueryParse=newQueryParser(FIELD_TITLE,getAnalyzer());
  46. Queryquery=queryParse.parse(queryString);
  48. isearcher.search(query,collector);
  49. ScoreDoc[]hits=collector.topDocs().scoreDocs;
  50. //用这个进行高亮显示，默认是<b>..</b>
  51. //用这个指定<read>..</read>
  52. SimpleHTMLFormattersimpleHTMLFormatter=newSimpleHTMLFormatter("<b><fontcolor='red'>","</font></b>");
  53. //构造高亮
  54. //指定高亮的格式
  55. //指定查询评分
  56. Highlighterhighlighter=newHighlighter(simpleHTMLFormatter,newQueryScorer(query));
  57. //这个一般等于你要返回的，高亮的数据长度
  58. //如果太小，则只有数据的开始部分被解析并高亮，且返回的数据也少
  59. //太大，有时太浪费了。
  60. highlighter.setTextFragmenter(newSimpleFragmenter(Integer.MAX_VALUE));
  61. for(inti=begin;i<hits.length&&i<begin+number;i++){
  62. Documentdoc=isearcher.doc(hits[i].doc);
  63. Stringvalue=doc.get(FIELD_TITLE);
  64. Stringvalue2=doc.get(FIELD_BODY);
  65. //有三个参数
  66. //分析器
  67. //要解析的字段名
  68. //要解析的数据
  69. //System.out.println(highlighter.getBestFragment(getAnalyzer(),
  70. //FIELD_TITLE,doc.get(FIELD_TITLE)));
  72. if(value!=null){
  73. TokenStreamtokenStream=getAnalyzer().tokenStream(FIELD_TITLE,newStringReader(value));
  74. Stringstr=highlighter.getBestFragment(tokenStream,value);
  75. sb.append("<li><li>").append(str).append("<br/>");
  76. System.out.println(str);
  77. }
  79. }
  80. }catch(Exceptione){
  81. e.printStackTrace();
  82. }finally{
  83. if(isearcher!=null){
  84. try{
  85. isearcher.close();
  86. }catch(Exceptione){
  87. e.printStackTrace();
  88. }
  89. }
  90. }
  91. returnsb.toString();
  92. }
  94. publicstaticvoidmain(String[]args){
  95. TestLuceneHighlighter2t=newTestLuceneHighlighter2();
  96. StringqueryString="中华人民共和国";
  97. intbegin=0;
  98. intnumber=10;
  99. t.test(queryString,begin,number);
  100. }
  102. }
  104. packagedemo;
  106. importjava.io.StringReader;
  108. importnet.paoding.analysis.analyzer.PaodingAnalyzer;
  110. importorg.apache.lucene.analysis.Analyzer;
  111. importorg.apache.lucene.analysis.TokenStream;
  112. importorg.apache.lucene.document.Document;
  113. importorg.apache.lucene.queryParser.QueryParser;
  114. importorg.apache.lucene.search.BooleanClause;
  115. importorg.apache.lucene.search.IndexSearcher;
  116. importorg.apache.lucene.search.Query;
  117. importorg.apache.lucene.search.ScoreDoc;
  118. importorg.apache.lucene.search.TopDocCollector;
  119. importorg.apache.lucene.search.highlight.Highlighter;
  120. importorg.apache.lucene.search.highlight.QueryScorer;
  121. importorg.apache.lucene.search.highlight.SimpleFragmenter;
  122. importorg.apache.lucene.search.highlig
  
lucene高亮实例 

爱华网本文地址 » http://www.413yy.cn/a/25101011/48104.html

更多阅读

Lucene+HighLighter高亮显示实例 lucene高亮实例

今天搞了一个关于Lucene的例子，权当入门教程。网上有很多资料，但是要么不全、要么不好用，所以这里把全部代码以及依赖的包贴上来了。功能包括：创建索引、检索索引、高亮显示查询结果。分词使用的庖丁解牛。使用前先下载相关的LuceneCore

SQL server存储过程语法及实例 mysql存储过程实例

存储过程如同一门程序设计语言，同样包含了数据类型、流程控制、输入和输出和它自己的函数库。--------------------基本语法--------------------一.创建存储过程create procedure sp_name()begin.........end二.调用存储过程1.基本

子网划分以及应用实例 ansys网格划分实例

本节就将介绍子网划分的有关概念和方法，主要涉及到一下几个方面的内容：(1)子网划分的概念(2)为什么要进行子网划分(3)如何进行子网划分(4)VLSM(可变长子网掩码)子网划分的概念每类IP地址都有自己的缺省子网掩码，但是这些缺省子网掩码并

声明:《Lucene+HighLighter高亮显示实例 lucene高亮实例》为网友全职保姆分享！如侵犯到您的合法权益请联系我们删除