Lucene学习笔记(2)自定义TokenFilter实现同义词

关注

原创最新推荐文章于 2026-05-20 09:02:31 发布 882 阅读 AI 写同款· GEO 优化 ›

【lucene】自定义tokenfilter 自带payload 只要在自定义 `TokenFilter` 里给 `PayloadAttribute` 赋值，并在 FieldType 里打开 `setStoreTermVectorPayloads(true)`，就能把任意二进制/字符串 payload 跟每个分词一起存进索引，再通过 `TermsEnum/PostingsEnum` 原样读出。整段代码零依赖（除了 lucene-core、lucene-analysis-common），直接 `main` 方法即可跑。// 简单规则：名词/动词/其它。阅读详情

public class MyTokenFilter extends TokenFilter {

private SameWord sameWord;
private Stack<String> stack;
private State currState;
private CharTermAttribute cta = addAttribute(CharTermAttribute.class);
private PositionIncrementAttribute pia = addAttribute(PositionIncrementAttribute.class);

protected MyTokenFilter(TokenStream input, SameWord sameWord) {
super(input);
this.sameWord = sameWord;
stack = new Stack<>();
}

@Override
public final boolean incrementToken() throws IOException {
// TODO Auto-generated method stub
if (stack.size() > 0) {
// 说明有同义词
// 1、取出一个同义词
String str = stack.pop();
// 还原状态

restoreState(currState);

//清空原数据

cta.setEmpty();

//添加同义词

cta.append(str);
// 设置位置为0
pia.setPositionIncrement(0);
return true;

}
if (!input.incrementToken())
return false;
if (getSameWord(cta.toString())) {
currState = captureState();
}

return true;
}

/**
* 是否有同义词
*
* @param name
* @return
*/
private boolean getSameWord(String name) {
if (sameWord == null)

return false;

//取得该词的同义词