Elasticsearch 查询之Function Score Query

这篇具有很好参考价值的文章主要介绍了Elasticsearch 查询之Function Score Query。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

ES 的主查询评分模式分为两种,是信息检索领域的重要算法: TF-IDF 算法 和 BM25 算法。

Elasticsearch 从版本 5.0 开始引入了 BM25 算法作为默认的文档评分(relevance scoring)算法。在此之前,Elasticsearch 使用的是 TF-IDF 算法作为默认的文档评分算法。从版本 5.0 起,BM25 算法取代了 TF-IDF,成为了默认的算法,用于计算文档与查询之间的相关性得分。

这个变化主要是为了更好地适应现代信息检索需求,BM25 算法在一些情况下能够提供更准确的文档排序和检索结果。

而 Function Score Query 不夸张的说是 ES 里面终极自定义打分的大招,非常的灵活并且功能强大,常规情况下,我们排序都是基于 _score 的,如果 _score相等的情况下,我们还可以额外增加排序字段,比如按日期,数量,价格等,但在搜索引擎中,排序往往并不像 SQL 那样,从左到右规整的按照多字段排序,在 SQL 里面,排序的主顺序一定是由左边的第一个字段决定的,但在搜索引擎种,却不仅仅是这样的,还可以通过 function score 做到那个字段贡献的分值大,排序顺序就以谁为主,因为这些是真实存在的需求场景,如下:

  • 新闻场景:搜索具有某个关键词的文档,同时结合文档的时效性进行综合排序
  • 导航场景:搜索某个地点附近的饭店,同时根据距离远近和价格等因素综合排序
  • 论坛场景:搜索包含某个关键词的文章,同时根据浏览次数和点赞数进行综合排序

SQL 的排序模型

select * from table order by A, B, C

搜索引擎的排序模型

query * from index oder by score max(A, B, C)
写入数据

为了用实际例子讲解 function score,我们先写入几条数据

POST test01/doc/_bulk
{ "index" : { "_id" : "1" } }
{"title": "kubernetes", "content": "Development History","vote": 3,"year": 2015}
{ "index" : { "_id" : "2" } }
{"title": "kubernetes", "content": "Competitive Analysis","vote": 5,"year": 2018}
{ "index" : { "_id" : "3" } }
{"title": "kubernetes docker","content": "The connection between virtual and docker technology","vote": 100,"year": 2011}
{ "index" : { "_id" : "4" } }
{"title": "kubernetes network","content": "router vlan tcp","vote": 20,"year": 2009}
查询数据

查询关键词:kubernetes

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "bool": {
      "should": [
        {"term": {"title": "kubernetes"}}
        ]
    }

  },
  "explain": false
}

返回结果:

    "hits" : [
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "2",
        "_score" : 0.12776,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Competitive Analysis",
          "vote" : 5,
          "year" : 2018
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "1",
        "_score" : 0.12776,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Development History",
          "vote" : 3,
          "year" : 2015
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "4",
        "_score" : 0.09954306,
        "_source" : {
          "title" : "kubernetes network",
          "content" : "router vlan tcp",
          "vote" : 20,
          "year" : 2009
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "3",
        "_score" : 0.081535265,
        "_source" : {
          "title" : "kubernetes mesos swarm",
          "content" : "The connection between virtual and docker technology",
          "vote" : 100,
          "year" : 2011
        }
      }
    ]

结果看起来是正常的,ok,现在我们要改变需求了,加入了基于点赞量的加权,也就是说匹配关键词并且点赞量高的优先展示,因为点赞量高意味着这些文章质量更高,所以需要优先曝光,这个时候我们就需要用到 function score

Function Score Query介绍
计算原理

使用主查询 的 TF-IDF 或者 BM25 算法得出来的默认评分简称为: query_score

使用 Function Score 查询结合自定义策略得出来的评分简称为:function_score

最终用于排序的评分称为 sort_score

在使用了 自定义的 Fuction Score 之后,我们最终得出来的 sort_score 就是使用 query_score 和 function_score以某种运算形式 (score_mode) 计算出来的,这个策略默认是相乘,也即:

sort_score = query_score * function_score

function_score内的score_mode

score_mode有六种:

mode

描述

multiply

多个函数 score 相乘(默认)

sum

多个函数 score 求和

avg

多个函数 score 取平均值

first

使用第一个 filter 函数的 score

max

取多个函数 score 中最大的那个

min

取多个函数 score 中最大的那个

sort_score运算策略

sort_score 是 query_score 和 function_score以某种形式运算而来,支持的运算操作也有六种:

mode

描述

multiply

sort_score = query_score * function_score(默认)

sum

sort_score = query_score + function_score

avg

sort_score = avg ( query_score + function_score ) / 2

replace

sort_score = function_score

max

sort_score = max ( query_score + function_score )

min

sort_score = min ( query_score + function_score )

默认情况下,修改分数不会更改匹配的文档。要排除不满足特定分数阈值的文档,可以将 min_score 参数设置为所需的分数阈值

fuction score的评分函数
script_score

script_score 支持自定义脚本打分,也就是说可以用类编程语言的脚本来嵌入的打分逻辑,ES 之前用的是 groovy脚本因安全性有问题,现在换成了 Painless 脚本,详细可参考:Painless scripting language | Elasticsearch Guide [8.9] | Elastic

现在我们用 script_score 来完成上面查询场景中的,给点赞量的加权:

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match": { "title": "kubernetes" }
      },
      "script_score": {
        "script": {
          "params": {
            "baseScore": 1
          },
          "source": "params.baseScore + doc['vote'].value"
        }
      },
      "boost_mode": "replace",
      "score_mode": "multiply"
    }
  },
  "explain": false
}

结果如下:

    "hits" : [
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "3",
        "_score" : 101.0,
        "_source" : {
          "title" : "kubernetes mesos swarm",
          "content" : "The connection between virtual and docker technology",
          "vote" : 100,
          "year" : 2011
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "4",
        "_score" : 21.0,
        "_source" : {
          "title" : "kubernetes network",
          "content" : "router vlan tcp",
          "vote" : 20,
          "year" : 2009
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "2",
        "_score" : 6.0,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Competitive Analysis",
          "vote" : 5,
          "year" : 2018
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "1",
        "_score" : 4.0,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Development History",
          "vote" : 3,
          "year" : 2015
        }
      }
    ]

在这个函数查询中,我们使用了 replace 策略,来直接使用 fuction_score的分数,注意 从 docValue 里面取出来的字段必须是number 类型才可以

weight

直接对查询加权:

例子一:

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match": { "title": "kubernetes" }
      },
      "weight": 10
    }
  },
  "explain": false
}

结果:

    "hits" : [
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "2",
        "_score" : 1.2775999,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Competitive Analysis",
          "vote" : 5,
          "year" : 2018
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "1",
        "_score" : 1.2775999,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Development History",
          "vote" : 3,
          "year" : 2015
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "4",
        "_score" : 0.9954306,
        "_source" : {
          "title" : "kubernetes network",
          "content" : "router vlan tcp",
          "vote" : 20,
          "year" : 2009
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "3",
        "_score" : 0.8153527,
        "_source" : {
          "title" : "kubernetes mesos swarm",
          "content" : "The connection between virtual and docker technology",
          "vote" : 100,
          "year" : 2011
        }
      }
    ]

例子二:

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match_all": {}
      },
      "functions": [
        {
          "filter": { "match": { "content": "kubernetes" } },
          "weight": 1
        },
        {
          "filter": { "match": { "title": "mesos" } },
          "weight": 10
        },
        {
          "filter": { "match": { "content": "tcp" } },
          "weight": 20
        }
      ]
    }
  },
  "explain": false
}

结果如下:

    "hits" : [
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "4",
        "_score" : 20.0,
        "_source" : {
          "title" : "kubernetes network",
          "content" : "router vlan tcp",
          "vote" : 20,
          "year" : 2009
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "3",
        "_score" : 10.0,
        "_source" : {
          "title" : "kubernetes mesos swarm",
          "content" : "The connection between virtual and docker technology",
          "vote" : 100,
          "year" : 2011
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Competitive Analysis",
          "vote" : 5,
          "year" : 2018
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Development History",
          "vote" : 3,
          "year" : 2015
        }
      }
    ]

这个 filter 很适合竞价排名

random_score

random score 相当于把返回文档的顺序给打乱,比较适合随机召回文档

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match_all": {}
      },
      "random_score": {}
    }
  },
  "explain": false
}

默认情况下,是每次查询的值都是随机的,但有时候我们想用同一个 id 的保持不变,不同 id 的结果随机,这个时候可以使用 seed 和 field 来控制:


GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match_all": {}
      },
      "random_score": {
                "seed": 10,
        "field": "_seq_no"
      }
    }
  },
  "explain": false
}

这个时候 seed 的值,就可以等同于 id,id 值一样的结果不变

field_value_factor
GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match": {"title":"kubernetes"}
      },
      "field_value_factor": {
        "field": "vote",
        "factor": 1.2,
        "modifier": "sqrt",
        "missing": 1
      },
      "boost_mode": "max"
    }
  },
  "explain": false
}

等价于script score 脚本 sqrt(1.2 * doc['vote'].value)

其中field 是文档种的字段,missing 是缺失值,factor 是放大的比值默认是 1,modifier 是对结果的再次处理,支持多种函数如:none, log, log1p, log2p, ln, ln1p, ln2p, square, sqrt, or reciprocal

decay functions

衰减函数

  • 以某个数值作为中心点,距离多少的范围之外逐渐衰减(缩小分数)
  • 以某个日期作为中心点,距离多久的范围之外逐渐衰减(缩小分数)
  • 以某个地理位置点作为中心点,方圆多少距离之外逐渐衰减(缩小分数)

一个例子:

"DECAY_FUNCTION": { 
    "FIELD_NAME": { 
          "origin": "11, 12",
          "scale": "2km",
          "offset": "0km",
          "decay": 0.33
    }
}

上例的意思就是在距中心点方圆 2 公里之外,分数减少到三分之一(乘以 decay 的值 0.33)

DECAY_FUNCTION 可以是以下任意一种函数:

linear : 线性衰减函数
exp : 指数衰减函数
gauss : 高斯正常衰减函数

origin :

用于计算距离的原点。对于数字字段,必须以数字形式给出;对于日期字段,必须以日期形式给出;对于地理字段,必须以地理点形式给出。地理和数字字段是必需的。对于日期字段,默认值为现在。 origin 支持日期数学(例如 now-1h)

scale :

定义计算得分等于衰减参数时距原点 + 偏移量的距离。对于地理字段:可以定义为数字+单位(1km、12m、...)。默认单位是米。对于日期字段:可以定义为数字+单位(“1h”、“10d”、...)。默认单位是毫秒。对于数字字段:任何数字

offset :

如果定义了偏移量,则衰减函数将仅计算距离大于定义的偏移量的文档的衰减函数。默认值为 0

decay :

衰减参数定义如何在给定比例的距离上对文档进行评分。如果未定义衰减,则距离尺度上的文档将评分为 0.5

例如,现在新数据,标题匹配 kubernetes 后,按照优先检索位于 2011-2015 年份进行加权,不再按照点赞量:

GET test01/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "function_score": {
      "query": {
        "match": {"title":"kubernetes"}
      },
      "gauss": {
        "year": {
          "origin": "2013", 
          "offset": "2",
          "scale": "2",
          "decay": 0.1            
        }
      },
      "boost_mode": "max"
    }
  },
  "explain": false
}

解释一下:

上面使用高斯函数作为衰减,使用的是年份字段:

orgin:代表中心点是 2013 年

offset:2 代表 [2011, 2015] 作为中心圆,也就是 [2011, 2015]位于这之间的文档评分直接为 1

scala: 2 代表 [2009, 2017]之外的评分为 0.1

其他的,如果位于 2009-2011 范围的以及 2015-2017 范围的,就按正常评分就好了

结果如下:

    "hits" : [
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "title" : "kubernetes mesos swarm",
          "content" : "The connection between virtual and docker technology",
          "vote" : 100,
          "year" : 2011
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Development History",
          "vote" : 3,
          "year" : 2015
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "2",
        "_score" : 0.12776,
        "_source" : {
          "title" : "kubernetes",
          "content" : "Competitive Analysis",
          "vote" : 5,
          "year" : 2018
        }
      },
      {
        "_index" : "test01",
        "_type" : "doc",
        "_id" : "4",
        "_score" : 0.1,
        "_source" : {
          "title" : "kubernetes network",
          "content" : "router vlan tcp",
          "vote" : 20,
          "year" : 2009
        }
      }
    ]

三种衰减的函数的曲线如下:

Elasticsearch 查询之Function Score Query,ElasticSearch,elasticsearch,大数据,搜索引擎

此外,如果用于计算衰减的字段包含多个值,则默认情况下会选择最接近中心点的值来确定距离。这可以通过设置 multi_value_mode 来更改:

min:距离是最小距离

max:距离是最大距离

avg:距离是平均距离

sum:距离是所有距离的总和

    "DECAY_FUNCTION": {
        "FIELD_NAME": {
              "origin": ...,
              "scale": ...
        },
        "multi_value_mode": "avg"
    }
function score 的其他参数

max_boost: 最大权重值的范围

boost_mode: 最终 query_score 和 function_score的计算策略

min_score: 最终的结果过滤掉评分低于这个值的文章来源地址https://www.toymoban.com/news/detail-656946.html

到了这里,关于Elasticsearch 查询之Function Score Query的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch[八]:自定义评分功能、使用场景讲解以及 function_score常用的字段解释

    基本介绍 ES 的使用中,ES 会对我们匹配文档进行相关度评分。但对于一些定制化的场景,默认评分规则满足不了我们的要求。这些定制化场景,ES 也是推出了自定义评分方式来进行支持。可以使用 ES 提供的一些函数,什么可以使用较分来让我们的评分规则多样化。我举个大

    2024年01月24日
    浏览(40)
  • Elasticsearch Boolean Query查询介绍

    前言 ES 和 Solr 的底层都是基于Apache Lucene 实现,bool 查询的底层实现是Lucene 的 BooleanQuery,其可以组合多个子句查询,类似 SQL 语句里面的 OR 查询。 查询介绍 在 ES 里面 Boolean 查询封装了 4 种 API 接口能力,可以单独使用,也可以组合使用,总结如下: 函数 描述 must query 关键

    2024年02月13日
    浏览(45)
  • 【ElasticSearch系列-03】ElasticSearch的高级句法查询Query DSL

    ElasticSearch系列整体栏目 内容 链接地址 【一】ElasticSearch下载和安装 https://zhenghuisheng.blog.csdn.net/article/details/129260827 【二】ElasticSearch概念和基本操作 https://blog.csdn.net/zhenghuishengq/article/details/134121631 【二】ElasticSearch的高级查询Query DSL https://blog.csdn.net/zhenghuishengq/article/details/1

    2024年02月06日
    浏览(55)
  • ElasticSearch级查询Query DSL上

    目录 ES高级查询Query DSL match_all 返回源数据_source 返回指定条数size 分页查询fromsize 指定字段排序sort 术语级别查询 Term query术语查询 Terms Query多术语查询 exists query ids query range query范围查询 prefix query前缀查询 wildcard query通配符查询 fuzzy query模糊查询        ES中提供了一种强大

    2024年02月20日
    浏览(55)
  • ElasticSearch Index查询(Query DSL)

    先贴一个Query DSL的官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html 我平时喜欢查看官方文档,了解数据查询和存储方面的性能优化点,下面是积累的脚本分享。 查询语句格式 查询类型:match_all,match,term,range,fuzzy,bool 等等 查询条件:查询条件会根

    2024年02月07日
    浏览(46)
  • Elasticsearch复合查询之Boosting Query

    前言 ES 里面有 5 种复合查询,分别是: Boolean Query Boosting Query Constant Score Query Disjunction Max Query Function Score Query Boolean Query在之前已经介绍过了,今天来看一下 Boosting Query 用法,其实也非常简单,总结起来就一句话,对不期待的查询进行相关性降分。 Boost 加权机制底层

    2024年02月12日
    浏览(41)
  • ElasticSearch 高级查询语法Query DSL实战

    ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL(Domain Specified Language 领域专用语言) , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互,这种方式的丰富查询语法让ES检索变得更强大,更简洁。 官方文档:https://www.elastic.co/guide/en/elasti

    2024年02月07日
    浏览(46)
  • 2.ElasticSearch 高级查询语法Query DSL实战

    ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL (Domain Specified Language 领域专用语言 ) , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互,这种方式的丰富查询语法让ES检索变得更强大,更简洁。 Query DSL | Elasticsearch Guide [7.17] | Elastic 语法

    2024年03月15日
    浏览(49)
  • Elasticsearch:使用查询规则(query rules)进行搜索

    在之前的文章 “Elasticsearch 8.10 中引入查询规则 - query rules”,我们详述了如何使用 query rules 来进行搜索。这个交互式笔记本将向你介绍如何使用官方 Elasticsearch Python 客户端来使用查询规则。 你将使用 query rules API 将查询规则存储在 Elasticsearch 中,并使用 rule_query 查询它们。

    2024年02月21日
    浏览(41)
  • Elasticsearch 基本使用(五)查询条件匹配方式(query & query_string)

    ES中常用的查询类型往大了分可以分为简单查询,复合查询,聚合查询等; 而复合查询及聚合查询都是基于简单查询的;简单查询里面对条件的匹配方式又分为不同类型。term[s],match,match_all,match_phrase 等等 term 单词查询,在字段的倒排索引(发生分词)或者直接在字段值(

    2024年02月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包