- 浏览: 614858 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
xianzi_2008:
xianzi_2008 写道楼主请教下,我缓存了一个List& ...
Ehcache -
xianzi_2008:
楼主请教下,我缓存了一个List<Bean>对象, ...
Ehcache -
jsdsh:
收藏好.五个字
hibernate之one-to-many详细 -
Tlife:
好!!!!
hibernate------HQL总结 -
yanqingluo:
例子很恰当。
观察者模式
1.多线程索引,共享同一个IndexWriter对象
这种方式效率很慢,主要原因是因为:
- public void addDocument(Document doc, Analyzer analyzer) throws IOException {
- SegmentInfo newSegmentInfo = buildSingleDocSegment(doc, analyzer);
- synchronized (this) {
- ramSegmentInfos.addElement(newSegmentInfo);//这句很占用效率
- maybeFlushRamSegments();
- }
- }
2 多线程索引, 先写到RAMDirectory,再一次性写到FSDirectory
功能:首先向RAMDirectory里写,当达到1000个Document後,再向FSDirectory里写。
当多线程执行时,会大量报java.lang.NullPointerException
自己写的多线程索引的类为(IndexWriterServer,该对象只在Server启动时初始化一次):
- public class IndexWriterServer{
- private static IndexWriter indexWriter = null;
- //private String indexDir ;//索引目录;
- private static CJKAnalyzer analyzer = null;
- private static RAMDirectory ramDir = new RAMDirectory();
- private static IndexWriter ramWriter = null;
- private static int diskFactor = 0;//内存中现在有多少Document
- private static long ramToDistTime = 0;//内存向硬盘写需要多少时间
- private int initValue = 1000;//内存中达到多少Document,才向硬盘写
- private static IndexItem []indexItems = null;
- public IndexWriterServer(String indexDir){
- initIndexWriter(indexDir);
- }
- public void initIndexWriter(String indexDir){
- boolean create = false;//是否创建新的
- analyzer = new CJKAnalyzer();
- Directory directory = this.getDirectory(indexDir);
- //判断是否为索引目录
- if(!IndexReader.indexExists(indexDir)){
- create = true;
- }
- indexWriter = getIndexWriter(directory,create);
- try{
- ramWriter = new IndexWriter(ramDir, analyzer, true);
- }catch(Exception e){
- logger.info(e);
- }
- indexItems = new IndexItem[initValue+2];
- }
- /**
- * 生成单个Item索引
- */
- public boolean generatorItemIndex(IndexItem item, Current __current) throws DatabaseError, RuntimeError{
- boolean isSuccess = true;//是否索引成功
- try{
- Document doc = getItemDocument(item);
- ramWriter.addDocument(doc);//关键代码,错误就是从这里报出来的
- indexItems[diskFactor] = item;//为数据挖掘使用
- diskFactor ++;
- if((diskFactor % initValue) == 0){
- ramToDisk(ramDir,ramWriter,indexWriter);
- //ramWriter = new IndexWriter(ramDir, analyzer, true);
- diskFactor = 0;
- //数据挖掘
- isSuccess = MiningData();
- }
- doc = null;
- logger.info("generator index item link:" + item.itemLink +" success");
- }catch(Exception e){
- logger.info(e);
- e.printStackTrace();
- logger.info("generator index item link:" + item.itemLink +" faiture");
- isSuccess = false;
- }finally{
- item = null;
- }
- return isSuccess;
- }
- public void ramToDisk(RAMDirectory ramDir, IndexWriter ramWriter,IndexWriter writer){
- try{
- ramWriter.close();//关键代码,把fileMap赋值为null了
- ramWriter = new IndexWriter(ramDir, analyzer, true);//重新构建一个ramWriter对象。因为它的fileMap为null了,但是好像并没有太大作用
- Directory ramDirArray[] = new Directory[1];
- ramDirArray[0] = ramDir;
- mergeDirs(writer, ramDirArray);
- }catch(Exception e){
- logger.info(e);
- }
- }
- /**
- * 将内存里的索引信息写到硬盘里
- * @param writer
- * @param ramDirArray
- */
- public void mergeDirs(IndexWriter writer,Directory[] ramDirArray){
- try {
- writer.addIndexes(ramDirArray);
- //optimize();
- } catch (IOException e) {
- logger.info(e);
- }
- }
- }
主要原因大概是因为:在调用ramWriter.close();时,Lucene2.1里RAMDirectory 的close()方法
- public final void close() {
- fileMap = null;
- }
把fileMap 给置null了,当多线程执行ramWriter.addDocument(doc);时,最终执行RAMDirectory 的方法:
- public IndexOutput createOutput(String name) {
- RAMFile file = new RAMFile(this);
- synchronized (this) {
- RAMFile existing = (RAMFile)fileMap.get(name);//fileMap为null,所以报:NullPointerException,
- if (existing!=null) {
- sizeInBytes -= existing.sizeInBytes;
- existing.directory = null;
- }
- fileMap.put(name, file);
- }
- return new RAMOutputStream(file);
- }
提示:在网上搜索了一下,好像这个是lucene的一个bug(http://www.opensubscriber.com/message/java-user@lucene.apache.org/6227647.html),但是好像并没有给出解决方案。
3.多线程索引,每个线程一个IndexWriter对象,每个IndexWriter 绑定一个FSDirectory对象。每个FSDirectory绑定一个本地的磁盘目录(唯一的)。单独开辟一个线程出来监控这些索引线程(监控线程),也就是说负责索引的线程索引完了以后,给这个监控线程的queue里发送一个对象:queue.add(directory);,这个监控现成的queue对象是个全局的。当这个queue的size() > 20 时,监控线程 把这20个索引目录合并(merge):indexWriter.addIndexes(dirs);//合并索引,合并到真正的索引目录里。,合并完了以后,然后删除掉这些已经合并了的目录。
但是这样也有几个bug:
a. 合并线程的速度 小于 索引线程的速度。导致 目录越来越多
b.经常会报一个类似这样的错误:
2007-06-08 10:49:18 INFO [Thread-2] (IndexWriter.java:1070) - java.io.FileNotFoundException: /home/spider/luceneserver/merge/item_d28686afe01f365c5669e1f19a2492c8/_1.cfs (No such file or directory)
4.单线程索引,调几个参数後,效率也非常快(索引一条信息大概在6-30 ms之间)。感觉一般的需求单线程就够用了。这些参数如下:
private int mergeFactor = 100;//磁盘里达到多少後会自动合并
private int maxMergeDocs = 1000;//内存中达到多少会向磁盘写入
private int minMergeDocs = 1000;//lucene2.0已经取消了
private int maxFieldLength = 2000;//索引的最大文章长度
private int maxBufferedDocs = 10000;//这个参数不能要,要不然不会自动合并了
得出的结论是:Lucene的多线程索引会有些问题,如果没有特殊需求,单线程的效率几乎就能满足需求.
如果单线程的速度满足不了你的需求,你可以多开几个应用。每个应用都绑定一个FSDirectory,然后通过search时通过RMI去这些索引目录进行搜索。
RMI Server端,关键性代码:
- private void initRMI(){
- //第一安全配置
- if (System.getSecurityManager() == null) {
- System.setSecurityManager( new RMISecurityManager() );
- }
- //注册
- startRMIRegistry(serverUrl);
- SearcherWork searcherWork = new SearcherWork("//" + serverUrl + "/" + bindName, directory);
- searcherWork.run();
- }
- public class SearcherWork {
- // Logger
- private static Logger logger = Logger.getLogger(SearcherWork.class);
- private String serverUrl =null;
- private Directory directory =null;
- public SearcherWork(){
- }
- public SearcherWork(String serverUrl, Directory directory){
- this.serverUrl = serverUrl;
- this.directory = directory;
- }
- public void run(){
- try{
- Searchable searcher = new IndexSearcher(directory);
- SearchService service = new SearchService(searcher);
- Naming.rebind(serverUrl, service);
- logger.info("RMI Server bind " + serverUrl + " success");
- }catch(Exception e){
- logger.info(e);
- System.out.println(e);
- }
- }
- }
- public class SearchService extends RemoteSearchable implements Searchable {
- public SearchService (Searchable local) throws RemoteException {
- super(local);
- }
- }
客户端关键性代码:
- RemoteLuceneConnector rlc= new RemoteLuceneConnector();
- RemoteSearchable[] rs= rlc.getRemoteSearchers();
- MultiSearcher multi = new MultiSearcher(rs);
- Hits hits = multi.search(new TermQuery(new Term("content","中国")));
评论
private int maxMergeDocs = 1000;//内存中达到多少会向磁盘写入
Determines the largest number of documents ever merged by addDocument().
private int minMergeDocs = 1000;//lucene2.0已经取消了
private int maxBufferedDocs = 10000;//这个参数不能要,要不然不会自动合并了
minMergeDocs没有取消,就是改成setMaxBufferedDocs了。
ramWriter = new IndexWriter(ramDir, analyzer, true);//重新构建一个ramWriter对象。因为它的fileMap为null了,但是好像并没有太大作用
lz你的代码有问题,这个是参数……
在实际中,我会用多线程开多个IndexWriter分别索引到不同的目录,IndexWriter被设计成线程安全的,有同步机制,多线程使用同一个IndexWriter,应该没有多大提高,和lz说的3比较类似,但通常不会合并(索引目录是按数据库表分的)。索引的速度和I/O关系比较大,要么是写入磁盘比较慢,要么是从数据源读取慢,通过调整maxBufferedDocs,写入索引文件这一端应该不会成为瓶颈。但调整到10000很可能服务器没那么大的内存。一般都是1000左右
LUCENE到底是好?还是不好?
还是在普及LUCENE知识???
发表评论
-
通过updateDocument更新索引
2008-09-20 15:57 4825package com.lucene; import ... -
通过addIndexes将内存中的索引加入到磁盘索引
2008-09-20 15:33 1950package com.lucene; import ... -
lucene高亮demo
2007-07-31 17:19 5129java 代码 package com.feed ... -
提取关键词及相应的频率,Field.Store.NO的数据获取
2007-07-11 11:53 29861.提取关键词及相应的频率 java 代码 R ... -
数据挖掘关于分类方面
2007-07-05 14:36 18011.提供自动学习数据,对这些数据进行索引 2。从索引里提取一个 ... -
提取关键词,并排序
2007-06-29 11:10 2466java 代码 //提取内容关键字! 对关键字 ... -
lucene索引参数优化
2007-06-28 15:52 18531。maxBufferedDocs 缓存在内存中的 ... -
lucene支持内存索引
2007-06-28 11:24 3043lucene支持内存索引:这 ... -
关于lucene2.0的创建、检索和删除功能的完整实现
2007-06-28 11:07 1436转载: http://blog.csdn.net/xia ... -
lucene2.0
2007-05-21 14:27 1109Field.Text(java.lang.String, ja ...
相关推荐
lucene应用开发揭秘 第四讲
Lucene应用中Pdf文档文本数据提取方法研究
Lucene在web项目中的应用,孔浩老师讲的,从建立索引-搜索-分词,到在留言项目中的应用,适合搜索初学者代码练习...
简单的lucene应用,包括建立索引,更新索引,查询索引。基础的应用。代码方便易懂。声明该源码仅供个人学习研究使用。不得用于商业盈利目的,侵权必究。
lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例
lucene.net基本应用(doc) lucene.net基本应用(doc) lucene.net基本应用(doc)
《Lucene实战 第2版 》基于Apache的Lucene 3 0 从Lucene核心 Lucene应用 案例分析3个方面详细系统地介绍了Lucene 包括认识Lucene 建立索引 为应用程序添加搜索功能 高级搜索技术 扩展搜索 使用Tika提取文本 Lucene...
《Lucene实战(第2版)》基于Apache的Lucene 3.0,从Lucene核心、Lucene应用、案例分析3个方面详细系统地介绍了Lucene,包括认识Lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用Tika提取文本...
基于Lucene的搜索引擎的研究与应用基于Lucene的搜索引擎的研究与应用
这里是我搜集的一些关于asp.net 所需要的 lucene.net 的一些*.dll 应用程序扩展
该文件里有简单明了的例子,帮助大家能进行lucene的高级应用.
lucene,lucene教程,lucene讲解。 为了对文档进行索引,Lucene 提供了五个基础的类 public class IndexWriter org.apache.lucene.index.IndexWriter public abstract class Directory org.apache.lucene.store....
lucene在实际应用过程中存在的问题及解决方式。
lucene3.0 lucene3.0 lucene3.0 lucene3.0 lucene3.0
lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习...
基于Lucene的搜索引擎应用与研究
Lucene与中文分词技术的研究及应用Lucene与中文分词技术的研究及应用Lucene与中文分词技术的研究及应用
解密搜索引擎技术实战Lucene&Java精华版(第3版)源码 书名:解密搜索引擎技术实战Lucene&Java精华版(第3版) 作者:罗刚 等编著 出版社:电子工业出版社 关键词:Lucene solr 搜索引擎 Lucene实战 随书源码 本书随...
用 Lucene 加速 Web 搜索应用程序的开发---实例代码
《Lucene实战(第2版)》基于Apache的Lucene 3.0,从Lucene核心、Lucene应用、案例分析3个方面详细系统地介绍了Lucene,包括认识Lucene、建立索引、为应用程序添加搜索功能、高级搜索技术、扩展搜索、使用Tika提取文本...