谈谈你对倒排索引的理解
在聊倒排索引之前,我们需要先了解一下‘索引’概念。
什么是索引呢?
索引是为了加速对表中数据行的检索而创建的一种分散的存储结构。
通俗的来讲索引好比就是新华字段中拼音的首字母还有偏旁,根据拼音的首字母和偏旁能很快的查找到你需要的内容。
索引的作用是什么呢?
保证数据的准确性
唯一的索引值对应着唯一的数据
加快检索速度
索引可以极大的加快检索速度
提高系统性能
索引可以有效提高系统的性能
倒排索引
elasticSearach 为啥要用倒排索引 而不是mysql 中 **B+**树呢?
先看看B+树的结构
先简单讲一下 B+树
B+树的特征
- 每一个节点是一个dataPage,在mysql中每个dataPage的大小为16K
- 就假如ID为28这个节点来说,单个数据量越大,单个节点里面放的数据量就越少
- 一般都会使用ID作为索引存储,ID字段比较短适合存储。不适用字段多长的字段
- ID的数值越大,树越深。IO越大B+树默认支持千万级别的数据量。
综合上述特征b+树不适用做上亿级别的存储数据结构,就mysql而言左模糊查询会导致索引失效,而去全文去检索。IO压力增大,得不偿失。
下面聊一下倒排索引
倒排索引的组成:
- term index:词典索引
- term dictionary:词典词项
- posting list:倒排表(采用两种的压缩算法 1.FOR(稠密数组) 2.roaring bitmaps(稀疏数组))
举个简单的例子来讲吧
id | title | desc |
---|---|---|
1 | Welcome to Shanxi! | 欢迎来到陕西 |
2 | I like Xi 'an very much | 我很喜欢西安 |
3 | I like Xi 'an noodles very much | 我很喜欢吃西安的面 |
以title这一列来讲es根据默认的分词器(以及normzation)分为为以下的此项
Welcome to Shan xi an I like xi an very much noodles文章来源:https://www.toymoban.com/news/detail-729202.html
term index | term dictionary | Posting List |
---|---|---|
welcome | 1 | |
to | 1 | |
shan | 1 | |
xi | 1,2,3 | |
an | 2,3 | |
i | 2,3 | |
like | 2,3 | |
noodles | 3 | |
very | 2,3 | |
much | 2,3 |
简单来说正排索引就是根据元素查找文档,倒排索引失根据元素查找文档。文章来源地址https://www.toymoban.com/news/detail-729202.html
到了这里,关于谈谈你对倒排索引的理解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!