Elasticsearch 向量相似搜索-Toy模板网

这篇具有很好参考价值的文章主要介绍了Elasticsearch 向量相似搜索。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Elasticsearch 向量相似搜索的原理涉及使用密集向量（dense vector）来表示文档，并通过余弦相似性度量来计算文档之间的相似性。以下是 Elasticsearch 向量相似搜索的基本原理：

向量表示文档：
- 文档的文本内容经过嵌入模型（如BERT、Word2Vec等）处理，得到一个密集向量（dense vector）表示文档的语义信息。
- 这个向量通常具有数百至数千个维度，每个维度表示文档在语义空间中的某个特定方面。
向量存储到 Elasticsearch：
- 将文档的向量表示存储到 Elasticsearch 索引中，通常使用 dense_vector 类型的字段进行存储。
- 在索引中，每个文档都有一个与之关联的密集向量。
查询向量表示：
- 当执行搜索查询时，将查询文本通过相同的嵌入模型转换为一个密集向量，表示查询的语义信息。
相似性计算：
- 使用余弦相似性度量计算查询向量与每个文档向量之间的相似性。
- 余弦相似性度量衡量了两个向量之间的夹角，值在 -1 到 1 之间，越接近1表示相似性越高。
返回排序的结果：
- Elasticsearch 根据相似性得分对文档进行排序，将相似性高的文档排在前面。
- 检索的结果包含与查询向量相似的文档，最相似的文档排在前面。
脚本评分（Script Score）：
- Elasticsearch 提供了脚本评分功能，可以使用脚本来定制相似性评分的计算方式。常见的是使用余弦相似性函数来计算评分。

具体的例子：

1. 安装 Elasticsearch 8.X, 如下是docker-compose.yml:

version: '2.2'
services:
  elasticsearch:
    container_name: es01
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.3
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
    ports:
      - "8088:9200"
    volumes:
      - ./elasticsearch-data:/usr/share/elasticsearch/data
    mem_limit: 2g

    networks:
      - my-network
    restart: always



networks:
  my-network:
    name: my-network-1

2.安装后测试一下Elasticsearch:
http://localhost:8088/_cat/health?v

Elasticsearch 向量相似搜索,Elasticsearch,elasticsearch,大数据,搜索引擎

3. 创建索引映射：

在 Postman 中，使用 HTTP PUT 请求创建索引及其映射。假设您的 Elasticsearch 服务运行在 http://localhost:9200，创建名为 your_index 的索引：

发送请求以创建索引映射。

请求类型：PUT
URL：http://localhost:9200/your_index

Body（选择 raw 和 JSON (application/json)）：

{
  "mappings": {
    "properties": {
      "text": {
        "type": "text"
      },
      "embedding": {
        "type": "dense_vector",
        "dims": 768  // 替换为实际的嵌入向量维度
      }
    }
  }
}

4. 插入文档：

请求类型：POST
URL：http://localhost:9200/your_index/_doc/1
Body（选择 raw 和 JSON (application/json)）文章来源地址https://www.toymoban.com/news/detail-763141.html

{
  "text": "淄博新建的一座占地100亩的烧烤城在短短20天内建成，吸引了众多烧烤爱好者，如今“烤位”已是一位难求。",
  "embedding": [
0.24153212,0.20880528,0.030148063,-0.53177595,-0.16311283,-0.48528185,0.8071734,-0.5603691,-0.034782775,-0.010840773,0.20591497,-0.190546,0.0939277,-0.31472996,0.41703156,-0.31428546,0.32904455,-0.1818271,0.0828045,0.2891722,-0.12507804,0.44376546,-0.10610913,0.2950189,0.34206498,0.54851073,0.33173296,-0.50768775,-0.22573504,0.09621267,1.1528952,-0.13125856,0.06805208,0.75444174,0.28983256,-0.058324914,0.029754816,0.28223705,0.017140139,-0.20847563,-0.3175143,-0.6432414,0.13734575,-0.34154043,-0.7852689,-0.7646187,-0.08415885,0.27589658,0.037415426,-0.111104995,-0.7493051,0.13488679,-0.0021623205,-0.4228744,-0.5692682,0.37095323,-0.17621705,-0.029115338,0.41395468,-0.36694804,-0.21973066,-0.0684685,-0.4107971,0.17953752,-0.6013466,0.4058221,0.088796705,0.39943227,-0.0005312811,-0.011339925,-0.20651253,0.113913804,0.0025909252,0.3519917,-0.34478262,0.45721626,-0.75878835,0.13280198,-0.09654277,0.5451904,-0.5389396,0.2736914,0.07034891,0.002583282,0.075424306,0.33698198,0.7679384,0.46068242,-0.08456434,0.5998018,0.2

到了这里，关于Elasticsearch 向量相似搜索的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！