全文检索大体分两个过程，索引创建(Indexing)：将现实世界中所有的结构化和非结构化数据提取信息，搜索索引(Search)：通过用户的查询请求搜索创建的索引，然后返回查询结果的过程。
Lucene实现全文检索的也同样需要这两个过程，其具体实现如下：
创建索引：
-
获得文档，表示我们要对那些文档或数据进行搜所
-
构建文档对象，根据获取的文档创建一个Document对象，每个document对象中包含多个域（field），域中保存就是原始文档数据。（域的名称、域的值、每个文档都有一个唯一的编号）
-
分析文档，将文档中的数据结构化，比如根据空格进行字符串拆分、把单词统一转换成小写、去除停止词等，获得一个关键词列表。
-
创建索引，基于关键词列表创建一个索引，保存到索引库中。通过关键词找文档，这种索引的结构叫倒排索引结构。
- 倒排索引（inverted index）也称反向索引，搜索引擎中最常见的数据结构，将文档中的词作为关键字，建立词与文档的映射关系，通过对倒排索引的检索，可以根据词快速获取包含这个词的文档列表
分词：将句子或者段落进行切割，从中提取出包含固定语义的词
- 停止词（stop word）：没有具体含义、区分度低的词
排序：当输入一个关键字进行搜索时，将相关度更大的内容排在前面
查询索引:
-
把关键词封装成一个查询对象，包括要查询的域，要搜索的关键词
-
执行查询，根据要查询的关键词到对应的域上进行搜索。找到关键词，根据关键词找到对应的文档
-
渲染结果：根据文档的id找到文档对象，对关键词进行高亮显示，分页处理，最终展示给用户看。
Lucene的使用
下载Lucene：https://lucene.apache.org/
工程搭建：创建一个java工程，添加jar，新建测试程序
从文本文件中找出包含指定单词单词的文件
1. 创建索引
@Test
public void createIndex() throws Exception {
//1、创建一个Director对象，指定索引库保存的位置。
//把索引库保存在内存中
//Directory directory = new RAMDirectory();
//把索引库保存在磁盘
Directory directory = FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath());
//2、基于Directory对象创建一个IndexWriter对象
IndexWriter indexWriter = new IndexWriter(directory, new IndexWrit 需要zi料+ 绿色徽【vip1024b】
erConfig());
//3、读取磁盘上的文件，对应每个文件创建一个文档对象。
File dir = new File(“F:\Intellij idea\Lucene\source”);
File[] files = dir.listFiles();
for (File f : files) {
//取文件名
String fileName = f.getName();
//文件的路径
String filePath = f.getPath();
//文件的内容
String fileContent = FileUtils.readFileToString(f, “utf-8”);
//System.out.println(fileContent);
//文件的大小
long fileSize = FileUtils.sizeOf(f);
//创建Field
//参数1：域的名称，参数2：域的内容，参数3：是否存储
Field fieldName = new TextField(“name”, fileName,Field.Store.YES);
Field fieldContent = new TextField(“content”, fileContent, Field.Store.YES);
Field fieldPath = new TextField(“path”, filePath, Field.Store.YES);
Field fieldSize = new TextField(“size”, fileSize + “”, Field.Store.YES);
//不需要分词和索引，只进行存储
//Field fieldPath = new StoredField(“path”, filePath);
//存储长整型数据，做运算使用，不能取值
//Field fieldSizeValue = new LongPoint(“size”, fileSize);
//只存储
//Field fieldSizeStore = new StoredField(“size”, fileSize);
//创建文档对象
Document document = new Document();
//向文档对象中添加域
document.add(fieldName);
document.add(fieldPath);
document.add(fieldContent);
document.add(fieldSize);
//document.add(fieldSizeValue);
//document.add(fieldSizeStore);
//5、把文档对象写入索引库
indexWriter.addDocument(document);
}
//6、关闭indexwriter对象
indexWriter.close();
}
2. 查询索引库
@Test
public void searchIndex() throws Exception {
//1、创建一个Director对象，指定索引库的位置
Directory directory = FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath());
//2、创建一个IndexReader对象
IndexReader indexReader = DirectoryReader.open(directory);
//3、创建一个IndexSearcher对象，构造方法中的参数indexReader对象。
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//4、创建一个Query对象，TermQuery
Query query = new TermQuery(new Term(“content”, “void”));
//5、执行查询，得到一个TopDocs对象
//参数1：查询对象 参数2：查询结果返回的最大记录数
TopDocs topDocs = indexSearcher.search(query, 10);
//6、取查询结果的总记录数
System.out.println(“查询总记录数：” + topDocs.totalHits);
//7、取文档列表
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
//8、打印文档中的内容
for (ScoreDoc doc : scoreDocs) {
//取文档id
int docId = doc.doc;
//根据id取文档对象
Document document = indexSearcher.doc(docId);
System.out.println(document.get(“name”));
System.out.println(document.get(“path”));
System.out.println(document.get(“size”));
//System.out.println(document.get(“content”));
System.out.println(“-----------------”);
}
//9、关闭IndexReader对象
indexReader.close();
}
分析器
================================================================
进行检索时，默认使用的是标准分析器StandardAnalyzer通过指定的数据格式，通过将 Lucene 的 Document 传递给分析器 Analyzer 对各字段进行分词，经过分词器分词之后，通过索引写入工具 IndexWriter 将得到的索引写入到索引库，Document 本身也会被写入一个文档信息库，分词器不同，建立的索引数据就不同；比较通用的一个中文分词器 IKAnalyzer。
测试分析器
@Test
public void testTokenStream() throws Exception {
//使用Analyzer对象的tokenStream方法返回一个TokenStream对象。词对象中包含了最终分词结果。
//1. 创建一个Analyzer对象，StandardAnalyzer对象
Analyzer analyzer = new StandardAnalyzer();
//2.使用分析器对象的tokenStream方法获得一个TokenStream对象
TokenStream tokenStream = analyzer.tokenStream(“”, “Lucene是apache下的一个开放源代码的全文检索引擎工具包。”);
//3.向TokenStream对象中设置一个引用，相当于数一个指针
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
//4.调用TokenStream对象的rest方法。如果不调用抛异常
tokenStream.reset();
//5.使用while循环遍历TokenStream对象
while(tokenStream.incrementToken()) {
System.out.println(charTermAttribute.toString());
}
//6.关闭TokenStream对象
tokenStream.close();
}
测试结果：
lucene
是
apache
下
的
一
个
开
放
源
代
码
的
全
文
检
索
引
擎
工
总结
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！
MySQL50道高频面试题整理：文章来源：https://www.toymoban.com/news/detail-841924.html
toString());
}
//6.关闭TokenStream对象
tokenStream.close();
}
测试结果：
lucene
是
apache
下
的
一
个
开
放
源
代
码
的
全
文
检
索
引
擎
工
总结
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！
MySQL50道高频面试题整理：
[外链图片转存中…(img-g9wewqx2-1710361328859)]文章来源地址https://www.toymoban.com/news/detail-841924.html
到了这里，关于Lucene全文检索，阿里面试100%会问到的JVM的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
