用lucene为数据库搜索建立增量索引

关注

转载最新推荐文章于 2024-08-07 00:55:53 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

java lucene搜索引擎的实现 * 实现思路:首次查询数据库表所有记录，对每条记录建立索引，并将最后一条记录的id存储到storeId.txt文件中 * 当新插入一条记录时，再建立索引时不必再对所有数据重新建一遍索引， * 可根据存放在storeId.txt文件中的id查出新插入的数据，只对新增的数据新建索引，并把新增的索引追加到原来的索引文件中阅读详情

用lucene为数据库搜索建立增量索引

用 lucene 建立索引不可能每次都重新开始建立,而是按照新增加的记录,一次次的递增

建立索引的IndexWriter类,有三个参数

IndexWriter writer = new IndexWriter(path, new StandardAnalyzer(),isEmpty);

其中第三个参数是bool型的,指定它可以确定是增量索引,还是重建索引.

对于从数据库中读取的记录,譬如要为文章建立索引,我们可以记录文章的id号,然后下次再次建立索引的时候读取存下的id号,从此id后往下继续增加索引,逻辑如下.

建立增量索引,主要代码如下

public void createIndex(String path)

{

Statement myStatement = null;

String articleId="0";

//读取文件,获得文章id号码,这里只存最后一篇索引的文章id

try {

FileReader fr = new FileReader("**.txt");

BufferedReader br = new BufferedReader(fr);

articleId=br.readLine();

if(articleId==null||articleId=="")

articleId="0";

br.close();

fr.close();

} catch (IOException e) {

System.out.println("error343!");

e.printStackTrace();

}

try {

//sql语句,根据id读取下面的内容

String sqlText = "*****"+articleId;

myStatement = conn.createStatement();

ResultSet rs = myStatement.executeQuery(sqlText);

//写索引

while (rs.next()) {

Document doc = new Document();

doc.add(Field.Keyword("**", DateAdded));

doc.add(Field.Keyword("**", articleid));

doc.add(Field.Text("**", URL));

doc.add(Field.Text("**", Content));

doc.add(Field.Text("**", Title));

try{

writer.addDocument(doc);

}

catch(IOException e){

e.printStackTrace();

}

//将我索引的最后一篇文章的id写入文件

try {

FileWriter fw = new FileWriter("**.txt");

PrintWriter out = new PrintWriter(fw);

out.close();

fw.close();

} catch (IOException e) {

e.printStackTrace();

}

ind.Close();

System.out.println("ok.end");

}

catch (SQLException e){

e.printStackTrace();

}

finally {

//数据库关闭操作

}

然后控制是都建立增量索引的时候根据能否都到id值来设置IndexWriter的第三个参数为true 或者是false

boolean isEmpty = true;

try {

FileReader fr = new FileReader("**.txt");

BufferedReader br = new BufferedReader(fr);

if(br.readLine()!= null) {

isEmpty = false;

}

br.close();

fr.close();

} catch (IOException e) {

e.printStackTrace();

}

writer = new IndexWriter(Directory, new StandardAnalyzer(),isEmpty);

收录于

搜索技术

标签

#lucene #数据库 #string #null #path

结合lucene实现大数据的like模糊查询需求很多时候我们在用数据库的需要使用模糊查询，我们一般会使用like语句来做，然而这样的做的效率不是很高，那么使用Lucene来检索的话，效率会高很多。 lucene结合数据库步骤写一段传统的JDBC程序，将每条的用户信息从数据库读取出来针对每条用户记录，建立一个lucene document Document doc = new Document(); 并根阅读详情

用lucene为数据库搜索建立增量索引

相关推荐