lucene-调整索引性能

115.工业相机海康SDK开发指南(阅读) 包含初始化SDK和反初始化SDK接口。(由于看不到函数内部的具体实现,因此以下的解释仅代表个人的理解) 阅读详情

1、当新的Document对象增加到Lucene索引里时,它们最初将被缓存在内存中,而不是立刻写入磁盘中

2、IndexWriter提供了几个变量,用于调节缓存的大小和磁盘写入的频率。

3、IndexWriter的mergeFactor参数:

1)在将Document对象写入磁盘之前,控制在内存中存储Document对象的数量以及合并多个索引段的频率。在将它们做为单个段写入磁盘之前,Lucene在内存中默认存储10个Document对象。

2)默认10意味着磁盘上的段数达到10的乘方时,Lucene会将这些段合并为一个段。如每当有10个Document对象增加到索引中时,Lucene会在磁盘上创建一个新的段,当增加第10个大小为10个文档对象的段时,所有的这10个段会合并为大小为100的一个段。

4、IndexWriter的maxMergeDocs参数:

1)限制每个段的文档数量

2)当合并多个段时,Lucene要确保各个段中所包含的Document对象的个数不超过maxMergerDocs的大小。

5、IndexWriter的minMergeDocs参数:

1) 在Document对象被合并为一段之前,minMergerDocs的值控制着缓存的Document对象个数。

2)默认为10

3)能用更多的内存空间换取更快的索引

6、

1)从以上运行情况可以看出,操作系统为运行JVM提供更多内存时,增大mergeFactor和minMergeDocs的值可以提高索引过程速度,使用一个较大的mergeFactor值将会影响搜索性能

2)给JVM提供一个较大的内存堆可提高索引性能。进行这个操作通过java解释器中的-Xms和-Xmx参数共同完成

3)确保HotSpot、JIT的JVM选项已经激活,这会对程序运行产生积极的影响 

7、如果出现打开文件过多的异常,可使用IndexWriter类的optimize()方法来对这个索引进行优化,如果仍然不能解决,则尝试通过增加机器所允许打开文件最大数,如果仍然不行,则把原来的索引转换成复合结构的索引

算法 A 求稳健平均值和稳健标准差 文章目录算法原理代码 算法原理 算法 A 来自 GB/T 6379.5。应用此算法计算得到数据平均值和标准差的稳健值。稳健性是估计算法的特点,而不是其产生的估计值的特点,因此严格来说,称由此算法计算的平均值和标准差是稳健的是不确切的。然而,为避免使用繁琐的术语,“稳健均值”和“稳健标准差”应理解为利用稳健算法计算的总体均值和总体标准差的均值估计。 设数据为 xi,i∈(1,2,⋯ ,n)x_i, i\in(1,2,\cdots,n)xi​,i∈(1,2,⋯,n),记稳健平均值为 x∗,s∗x^*, s^*x 阅读详情

相关推荐

031、速度前馈与加速度前馈

摘要: 本文通过追剪机调试案例,阐述了速度前馈和加速度前馈在运动控制中的关键作用。前馈不是高级技巧,而是解决动态响应问题的必要手段:速度前馈通过预测速度变化提前补偿,加速度前馈则针对惯量变化提供力矩补偿。实现时需注意信号平滑处理,避免噪声放大。前馈与PID分工明确,前馈承担主要动态响应,PID处理残余误差。调试应先调前馈再微调PID,前馈增益需计算而非仅凭参数调整,并允许适当残余误差。前馈作为开环补偿不会影响系统稳定性,但需配合平滑的指令生成器使用。(149字)

m0_50546716的博客 208

提高Lucene索引性能

提高Lucene索引性能索引的文件不多时,用 Lucene 默认的设置就能得到很好的性能。但是,如果索引大量文件,就得通过一些手段去提高 Lucene 索引性能。  1、  索引性能差的原因  1)        Lucene 索引过程       在索引文件的过程中, Lucene 不是直接将文件索引磁盘上,而是首先缓存,然后在写到磁盘。如上图所示。  2)      ...

eric的学习笔记 184

62. 如何通过增强(Enhancement) 的方式给 SAP ABAP 标准程序增添新功能

本文通过一个实际的例子,介绍了如何不通过修改 SAP 标准 ABAP 程序源代码的方式,对其的功能进行增强,即采取 ABAP 增强开发的方式进行二次开发,这是一种在实际 SAP 项目实施过程中使用非常广泛的技术。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 3230

Lucene学习总结之五:Lucene段合并(merge)过程分析

<br />一、段合并过程总论<br />IndexWriter中与段合并有关的成员变量有:HashSet<SegmentInfo> mergingSegments = new HashSet<SegmentInfo>(); //保存正在合并的段,以防止合并期间再次选中被合并。MergePolicy mergePolicy = new LogByteSizeMergePolicy(this);//合并策略,也即选取哪些段来进行合并。MergeScheduler mergeScheduler = new Co

jackfirst86的专栏 772

lucene(es)段合并策略-LogMergePolicy

dLogMergePolicy    本篇文章介绍索引文件的合并策略,某次提交(commit)或者刷新(flush)的所有索引文件属于一个新的段(Segment),所以也可以称为段合并(Segment Merge)。当IndexWriter索引中的数据有任意修改动作,它会调用findMerges(...)方法通过某个合并策略(MergePolicy)来找出需要合并的段集,如果需要合并,那么合并策略会返回一个oneMerge的集合,oneMerge的个数描述了IndexWriter需要执行合并的次数,单个o

Angus 1356

如何提高和优化Lucene索引速度

这篇文章主要介绍了如何提高Lucene索引速度。介绍的大部分思路都是很容易尝试的,当然另外一部分可能会加大你程序的复杂度。所以请确认索引速度确实很慢,而且很慢的原因确实是因为Lucene自身而造成的。推荐姐妹篇:如何提高和优化Lucene搜索速度 • 确认你在使用最新的Lucene版本。 • 尽量使用本地文件系统 远程文件系统一般来说都会降低索引速度。如果索引必须分布在远程服务器,...

lzj0470的专栏 313

如何提高Lucene构建索引的速度

如何提高Lucene构建索引的速度 hans(汉斯) 2013-01-27 10:12 对于Lucene&gt;=2.3:IndexWriter可以自行根据内存使用来释放缓存。调用writer.setRAMBufferSizeMB()方法设置缓存尺寸。确保你没有任何的遗留代码调用setMaxBufferedDocs方法,因为写入器可以根据两种情况一起释放缓存(哪个更早发生)。使用你可以提供的全部...

weixin_33714884的博客 154

Lucene索引性能调整测试结果

<!--google_ad_client = "pub-0166451741892862";google_ad_width = 468;google_ad_height = 60;google_ad_format = "468x60_as";google_ad_type = "text_image";//2007-

追求简单 1407

lucene-调整索引性能(转)

lucene-调整索引性能   1、当新的Document对象增加到Lucene索引里时,它们最初将被缓存在内存中,而不是立刻写入磁盘中 2、IndexWriter提供了几个变量,用于调节缓存的大小和磁盘写入的频率。 3、IndexWriter的mergeFactor参数: 1)在将Document对象写入磁盘之前,控制在内存中存储Document对象的数...

wushexin的博客 150

Java Lucene(1):索引操作

java lucene技术 (1):索引操作 Lucene 可以帮你完成搜索存储在硬盘上的文件、电子邮件、或网页,甚至是数据库中的数据,但是,在进行搜索以前,你必须预先完成对这些数据的索引操作(Indexing)。这正是本节所要讲解的主题。接下来,你将学会如何对数据进行索引。程序1.1 通过Lucene API 的几个方法完成对数据建立索引的过程:File FileAddress = new F

wpkk66的专栏 2729

lucene 索引

基本索引操作 索引过程中对Document和Field对象进行加权操作 对日期、数字和域进行索引 使用能够影响Lucene索引性能以及资源开销的参数 优化索引 理解并发、多线程和索引过程中的锁机制   通过批量删除的方式进行更新操作 1、打开IndexReader对象 2、删除所有需要删除的Document对象 3、关闭IndexReader对象 4、打开IndexWrite

bob007的专栏 470

深入 Lucene 索引机制

Lucene 是一个基于 Java 的全文检索工具包,你可以利用它来为你的应用程序加入索引和检索功能。Lucene 目前是著名的 Apache Jakarta 家族中的一个开源项目,下面我们即将学习 Lucene索引机制以及它的索引文件的结构。 在这篇文章中,我们首先演示如何使用 Lucene索引文档,接着讨论如何提高索引性能。最后我们来分析 Lucene索引文件结构。需要记住

lijiaz5033的专栏 457

[转载]深入 Lucene 索引机制

深入 Lucene 索引机制Lucene 是一个基于 Java 的全文检索工具包,你可以利用它来为你的应用程序加入索引和检索功能。Lucene 目前是著名的 Apache Jakarta 家族中的一个开源项目,下面我们即将学习 ...

congji3817的博客 132

Lucene索引机制

架构概览 图一显示了 Lucene索引机制的架构。Lucene 使用各种解析器对各种不同类型的文档进行解析。比如对于 HTML 文档,HTML 解析器会做一些预处理的工作,比如过滤文档中的 HTML 标签等等。HTML 解析器的输出的是文本内容,接着 Lucene 的分词器(Analyz...

chiqind612229的博客 91

Lucene性能调整

 Lucene性能调整 1、调整MaxBufferedDocs和MergeFactor,经过调试,发现MaxBufferedDocs=1000,MergeFactor=100时性能较好。indexModifier = new IndexModifier(@"c:/indexpath",new StandardAnalyzer(),true);indexModifier.SetMaxBu

danyajuan的专栏 659

Lucene的查询语句用法

原文:http://blog.163.com/kivvf@126/blog/static/1025163200762011919528/ 前面已经对 Lucene 有了一些了解,现在我们想象它怎么去搜索这些数据呢,如果知道倒排索引,你就知道了,其实 lucene 检索的是它自己建立的索引,从索引中的到数据的指针,从而得到数据。其实就这么简单。 提到索引,现在的索引技术中有:倒排

蓝天白云 1891

lucence 索引优化

提高索引性能 利用 Lucene,在创建索引的工程中你可以充分利用机器的硬件资源来提高索引的效率。当你需要索引大量的文件时,你会注意到索引过程的瓶颈是在往磁盘上写索引文件的过程中。为了解决这个问题, Lucene 在内存中持有一块缓冲区。但我们如何控制 Lucene 的缓冲区呢?幸运的是,Lucene 的类 IndexWriter 提供了三个参数用来调整缓冲区的大小以及往磁盘上写索引文件的频...

fengbin2005 431

Lucene 性能优化

索引的文件不多时,用 Lucene 默认的设置就能得到很好的性能。但是,如果索引大量文件,就得通过一些手段去提高 Lucene 索引性能。   1、  索引性能差的原因 1)        Lucene 索引过程      在索引文件的过程中, Lucene 不是直接将文件索引磁盘上,而是首先缓存,然后在写到磁盘。如上图所示。 2)        索引过程的瓶颈 ²        往...

akululu的专栏 329

Lucene 建立索引的效率 (仍然推荐在内存中建立索引再写回)

为了解决这个问题, Lucene 在内存中持有一块缓冲区。但我们如何控制 Lucene 的缓冲区呢?幸运的是,Lucene 的类 IndexWriter 提供了三个参数用来调整缓冲区的大小以及往磁盘上写索引文件的频率。 1.合并因子(mergeFactor) 这个参数决定了在 Lucene 的一个索引块中可以存放多少文档以及把磁盘上的索引块合并成一个大的索引块的频率。比如,如果合并因子的值...

iteye_2179的博客 138

XBMU-TIC:面向藏文图片文字识别数据集

数据集包括 “Tibetant”文件、“Tibetanv” 文件、“train”JSON文件、“val”JSON文件。“Tibetant”文件中包含27285张训练集图片, “Tibetanv”文件中包含6822张验证集图片,“train”JOSN文件是训练集的图文对齐文件,“val”JOSN文件是验证集的图文对齐文件,两个JSON文件均包含图片id和图片中的文本内容。

基于水下传感器网络的目标跟踪技术研究现状与展望.docx

基于水下传感器网络的目标跟踪技术研究现状与展望.docx

上一篇: lucene-替代品MG4J
下一篇: lucene-理解索引过程
deepfuture
博客等级 码龄17年 209粉丝 1288原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值