阿里云Elasticsearch搜索

这篇具有很好参考价值的文章主要介绍了阿里云Elasticsearch搜索。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一.ES介绍

1.ES全称Elasticsearch,是一种分布式,文档数据库。能够迅速扩展,存储以及处理PB级别数据,可以在段时间内做海量数据的查询,分析,搜索。

(1)分布式:es集群是由多个节点组成的。

(2)文档数据库:es的数据存储形式是文档,数据以文档形式存储在索引里,es中的索引类似mysql数据库中的表。

ES存储文档数据举例:

{
“name”:“段娇”,
“sex”:1,
“age”:24
}

二.阿里云ES介绍

阿里云ES服务是基于开源elasticsearch研发的全托管的es服务,完全兼容开源功能,开箱即用,按需计费。不仅集成了elasticsearch,logstash,kibana,beats等组件,还集成了商业版X-pack扩展包的sql,告警,监控等功能。

阿里云的ES版本包括:

通用商业版:提供全托管的ES服务,100%开源,同时包含全部X-pack高级特性。支持的版本较多。用于数据分析和数据搜索场景。

日志增强版:在高级特性基础上,优化增加了内核及插件,提供更好性能,更高稳定性,和更低成本。用于海量日志存储场景。

其中ES中的组件包括:

logstash:数据处理管道

数据节点:存储索引数据,对文档进行增删改查。

kibana节点:可视化界面,管理es数据库。

专有主节点:对集群进行操作,例如创建删除索引,默认情况下任一节点会被选为专有主节点。

冷数据节点:存储冷数据,用于冷热数据分离。

协调节点:分担数据节点CPU开销,如果业务是CPU密集型业务,可以购买协调节点。

弹性节点:提供弹性扩缩功能,在业务高峰期增加资源,低峰期减少资源。

beats:数据采集

三.ES与mysql区别

mysql和ES对比

对比项

mysql

ES

数据库类别

关系型数据库

分布式文档数据库

存储类型

结构化数据,表

非结构化数据,文档

存储量

TB

PB

数据处理能力

事务,二级索引

全文检索

应用场景

核心业务,结构化数据存储

文档数据,日志海量存储分析

四.ES应用场景

1.日志分析,elk三件套搭建日志收集分析平台。

2.信息检索,es用于PB级数据快速检索,查询。

3.数据智能,es用于大数据分析

五.ES使用

1.ES迁移

2.数据库同步

3.大数据云产品同步

4.存储产品迁移

5.ES-Hadoop使用

6.日志采集与分析

7.服务器数据采集

8.集群管理

六.RDS同步到ES

同步方式

原理

场景

限制

DTS

binlog日志同步,毫秒级

实时性要求高

占用数据库资源,需要购买DTS实例

logstas

Logstash批量查询数据并存储到es,秒级延迟

同步全量数据,接收秒级延迟

dataworks离线数据同步

引入RDS结构化数据,进行转化然后存储到es

接收离线同步文章来源地址https://www.toymoban.com/news/detail-491830.html

到了这里,关于阿里云Elasticsearch搜索的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ElasticSearch搜索引擎:常用的存储mapping配置项 与 doc_values详细介绍

    ES底层使用 Lucene 存储数据,Lucene 的索引包含以下部分: A Lucene index is made of several components: an inverted index, a bkd tree, a column store (doc values), a document store (stored fields) and term vectors, and these components can communicate thanks to these doc ids. 其中: inverted index:倒排索引。 bkd tree: Block k-d tre

    2024年02月07日
    浏览(35)
  • gpt全称

    您是否曾经好奇过GPT的全称是什么?GPT代表\\\"Generative Pre-trained Transformer\\\",是一种基于Transformer模型的生成式预训练模型。而GPT4则是最新一代的GPT模型,它在自然语言处理领域取得了巨大的突破。 GPT4是由OpenAI开发的一种自然语言处理模型,它以其卓越的生成能力和语义理解能

    2024年02月12日
    浏览(36)
  • html学习笔记11-标签简写及全称、XHTML

    https://www.runoob.com/html/html-tag-name.html XHTML 是以 XML 格式编写的 HTML。可扩展超文本标记语言 XML 是一种必须正确标记且格式良好的标记语言。 XML 指可扩展标记语言(eXtensible Markup Language)。

    2024年02月11日
    浏览(41)
  • 相机专业模型详解,各个参数作用,专业模式英文全称和缩写

    ISO(感光度) 全称: International Organization for Standardization 缩写: ISO Shutter Speed(快门速度) 全称: Shutter Speed 缩写: SS Aperture(光圈大小) 全称: Aperture 缩写: A White Balance(白平衡) 全称: White Balance 缩写: WB Exposure Compensation(曝光补偿) 全称: Exposure Compensation 缩写:

    2024年02月03日
    浏览(45)
  • Elasticsearch(十四)搜索---搜索匹配功能⑤--全文搜索

    不同于之前的term。terms等结构化查询,全文搜索首先对查询词进行分析,然后根据查询词的分词结果构建查询。这里所说的全文指的是文本类型数据(text类型),默认的数据形式是人类的自然语言,如对话内容、图书名称、商品介绍和酒店名称等。结构化搜索关注的是数据是

    2024年02月11日
    浏览(51)
  • Elasticsearch:使用 Elasticsearch 矢量搜索和 FastAPI 构建文本搜索应用程序

    在我的文章 “Elastic:开发者上手指南” 的 “ NLP - 自然语言处理及矢量搜索 ”,我对 Elastic Stack 所提供的矢量搜索有大量的描述。其中很多的方法需要使用到 huggingface.co 及 Elastic 的机器学习。这个对于许多的开发者来说,意味着付费使用。在那些方案里,带有机器学习的

    2024年02月11日
    浏览(60)
  • Elasticsearch:使用 Elasticsearch 向量搜索和 FastAPI 构建文本搜索应用程序

    在我的文章 “Elastic:开发者上手指南” 的 “ NLP - 自然语言处理及矢量搜索 ”,我对 Elastic Stack 所提供的矢量搜索有大量的描述。其中很多的方法需要使用到 huggingface.co 及 Elastic 的机器学习。这个对于许多的开发者来说,意味着付费使用。在那些方案里,带有机器学习的

    2024年02月09日
    浏览(54)
  • 阿里云盘太小啦,所以自己动手写了一个阿里云盘的搜索引擎

    是不是还在为阿里云盘空间太小而烦恼! 好东西太多,奈何就这么点空间,存不下所有东西,何解? 阿里云盘空间不足的问题也让我头疼,虽然有一些免费的阿里云盘的搜索引擎,但那不是我的! 终于决定了,自己编写一个阿里云盘搜索引擎服务! 先看一下成品图: 如果

    2024年02月13日
    浏览(58)
  • ElasticSearch中全文搜索(单词搜索、多次搜索、组合搜索和权重搜索)

    全文搜索两个最重要的方面是: 相关性(Relevance) 它是评价查询与其结果间的相关程度,并根据这种相关程度对结果排名的一种能力,这种计算方式可以是 TF/IDF 方法、地理位置邻近、模糊相似,或其他的某些算法。 分词(Analysis) 它是将文本块转换为有区别的、规范化的

    2024年02月06日
    浏览(42)
  • 阿里搜索引擎:用户体验之王的逻辑

    阿里巴巴旗下的搜索引擎是国内知名的大型搜索引擎之一,其用户体验一直备受关注。那么,阿里巴巴搜索引擎是如何打造用户体验之王的呢?本文将从以下八个方面进行逐步分析讨论。 一、精准度 阿里巴巴搜索引擎的精准度是其最大的优势之一。它采用了大数据技术和机

    2024年02月07日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包