Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略-Toy模板网

这篇具有很好参考价值的文章主要介绍了Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1、背景

在生产使用中，Elasticsearch 除了精确匹配的要求，也会有模糊查询的场景。

Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略,elasticsearch,大数据,搜索引擎,全文检索

2、解决方案探讨

面对这种问题，传统的解决方案有两种：

2.1 方案一：ngram 分词器

使用 ngram 分词器对存入的数据进行精细化的拆分，利用细颗粒度的 token 进行快速的召回。

这是一个利用空间换时间的方案，细化查询所需的词根内容，利用精确匹配结果大范围的命中来达到模糊效果。

PUT test-005
{
  "settings": {
    "index.max_ngram_diff": 10,
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 10,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "my_analyzer",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}
 
POST test-005/_bulk
{"index":{"_id":1}}
{"title":"英文官网承认刘强东一度被捕的原因是涉嫌性侵"}
{"index":{"_id":2}}
{"title":"别提了朋友哥哥刘强东窗事发了"}
{"index":{"_id":3}}
{"title":"刘强东施效颦，没想到竟然收获了流量"}
{"index":{"_id":4}}
{"title":"刘强东是谁？我不认识"}
 
POST test-005/_search
{
  "query": {
    "match_phrase": {
      "title": "刘强东"
    }
  }
}

优点：召回快，性能消耗小；
缺点：有不小的空间消耗，颗粒度越细，消耗越大。同时，有一定的学习成本，需要对分词器有成熟的了解，不适合新手。

这里有个明显的使用案例，如下图所示，使用 ngram 的 test2 索引比原来使用 keyword 的索引空间大小大了接近10倍。

Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略,elasticsearch,大数据,搜索引擎,全文检索

2.2 方案二：wildcard 查询

使用 wildcard 查询，这是一项支持通配符的模糊检索功能，有点类似 SQL 中的 like 匹配。

为了实现通配符和正则表达式的查询，Ealsticsearch 依赖的 Lucene4.0 会将输入的字符串模式构建成一个DFA (Deterministic Finite Automaton)，而带有通配符的pattern构造出来的DFA可能会很复杂，开销很大。

具体分析：

https://elasticsearch.cn/article/171

https://elasticsearch.cn/article/186

优点：使用简单，也不需要额外的存储资源。
缺点：性能消耗巨大，滥用则可能会造成线上事故。

面对两个各有所长，甚至有点“卧龙凤雏”的方案，ES 在 7.9 版本推出了 wildcard 字段类型来解决模糊匹配的场景需求。

Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略,elasticsearch,大数据,搜索引擎,全文检索

3、wildcard 类型使用详解

Elasticsearch 的 wildcard 字段类型最早在 7.9 版本中引入。这个版本加入了对 wildcard 类型的支持，旨在改善模糊匹配的查询效率和性能，特别是在处理大量文本数据时。这一新特性主要针对了之前版本中 wildcard 查询的性能问题，提供了更高效的方式来处理通配符和正则表达式的搜索需求。

Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略,elasticsearch,大数据,搜索引擎,全文检索

https://www.elastic.co/guide/en/elasticsearch/reference/7.9/release-highlights.html

我们先来看下 wildcard 类型怎么使用：

先定义一个 wildcard 类型的字段

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "my_wildcard": {
        "type": "wildcard"
      }
    }
  }
}

为其写入一个文档

PUT my-index-000001/_doc/1
{
  "my_wildcard" : "This string can be quite lengthy"
}

然后使用 wildcard 查询如下所示：

GET my-index-000001/_search
{
  "query": {
    "wildcard": {
      "my_wildcard": "*quite*lengthy"
    }
  }
}

结果为

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 3.8610575,
    "hits" : [
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 3.8610575,
        "_source" : {
          "my_wildcard" : "This string can be quite lengthy"
        }
      }
    ]
  }
}

有时候我们需要忽略大小写，可以在 wildcard 查询使用 case_insensitive 参数。

GET my-index-000001/_search
{
  "query": {
    "wildcard": {
      "my_wildcard": {
        "value": "*Quite*lengthy",
        "case_insensitive": true
      }
    }
  }
}