1. Toy模板网首页
  2. > Toy博客

Elasticsearch的安装及使用，这一篇就够了

10月前 作者：哒不死的小小强 分类：Toy博客 阅读(53) 违法举报

这篇具有很好参考价值的文章主要介绍了Elasticsearch的安装及使用，这一篇就够了。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、ES介绍

  Elasticsearch是一个基于Apache Lucene的开源搜索引擎。Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 特点： 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎–做不规则查询 可以扩展到上百台服务器，处理PB级结构化或非结构化数据 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

二、单体ES安装

1.ES下载

ES官网：ElasticSearch官网

2.安装

1.上传后解压

es安装使用,elasticsearch,大数据
解压命令：tar -zxvf elasticsearch-7.4.2-linux-x86_64.tar.gz

移动解压后的文件到/usr/local/目录下：mv elasticsearch-7.4.2 /usr/local/
es安装使用,elasticsearch,大数据

2.ES目录介绍

es安装使用,elasticsearch,大数据

  • bin:可执行文件在里面，运行es的命令就在这个里面，包
    含了一些脚本文件等
  • config:配置文件目录
  • jdk:java环境
  • lib:依赖的jar,类库
  • logs:日志文件
  • modules:es相关的模块
  • plugins:可以自己开发的插件
  • data:这个目录没有，自己新建一下，后面要用->mkdir data,这个作为索引目录

3.修改核心配置文件elasticearch.yml

  • 修改集群名称，默认是elasticsearch,虽然目前是单机，但
    是也会有默认的

  • 为当前的s节点取个名称，名称随意，如果在集群环境中，
    都要有相应的名字
    vim config/elasticsearch.yml
    es安装使用,elasticsearch,大数据

  • 修改data数据保存地址

  • 修改日志数据保存地址
    /usr/local/elasticsearch-7.4.2/data
    /usr/local/elasticsearch-7.4.2/logs
    es安装使用,elasticsearch,大数据

  • 绑定es网络ip,原理同redis

  • 默认端口号，可以自定义修改
    es安装使用,elasticsearch,大数据

  • 集群节点，名字可以先改成之前的那个节点名称
    es安装使用,elasticsearch,大数据

4.修改JVM参数

es安装使用,elasticsearch,大数据
es安装使用,elasticsearch,大数据

默认xms和xmx都是1g,虚拟机内存没这么大，修改一下即可，线上环境内存大可以不修改！

5.添加用户

ES不允许使用root操作es,需要添加用户，操作如下：

#添加用户
useradd esuser
#授权
chown -R esuser:esuser /usr/local/elasticsearch-7.4.2
su esuser
whoami

6.启动ES

./elasticsearch
如果出现如下错误：
es安装使用,elasticsearch,大数据
那么需要切换到oot用户下去修改配置如下：
vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

es安装使用,elasticsearch,大数据

vim /etc/sysctl.conf 

vm.max_map_count=262145

es安装使用,elasticsearch,大数据

别忘记sysctl -p刷新一下
最后再次启动OK

7.测试

访问你的虚拟机ip+端口号9200，如下则表示OK
es安装使用,elasticsearch,大数据
停止es
如果是前台启动，直接ctrl+c就可以停止
后台启动：
./elasticsearch -d
停止杀进程：
jps
kill+进程号
es安装使用,elasticsearch,大数据

端口号意义

  • 9200:Http协议，用于外部通讯
  • 9300:Tcp协议，ES集群之间是通过9300通讯

三、Elasticsearch 集群构建

1. 先进行克隆三台服务器

es安装使用,elasticsearch,大数据

2. 搭建es集群

环境准备

HOSTNAME IP
es01 192.168.92.110
es02 192.168.92.111
es03 192.168.92.112

2.1 分别对三台服务器(es01, es02, es03 )做如下操作

进入es的data目录下, 删除nodes数据
cd /usr/local/elasticsearch-7.4.2/data
rm nodes/ -rf
es安装使用,elasticsearch,大数据

2.2 操作三台服务器(es01, es02, es03 节点)

操作config文件, 修改ES核心配置文件中的cluster的name值为同一个

  1. 即修改cluster.name为: my-application
  2. 分别修改 node.name为:es-node1, es-node2, es-node3
    vim /usr/local/elasticsearch-7.4.2/config/elasticsearch.yml
    es安装使用,elasticsearch,大数据
  3. 三台都开启master, data
    master: 表示在未来可以成为master节点
    data: 用来存储文档数据
node.master: true
node.data: true
  1. 三台都进行配置节点信息.
    discovery.seed_hosts: ["192.168.92.110", "192.168.92.111","192.168.92.112"]
    es安装使用,elasticsearch,大数据

2.3 查看配置信息

  1. cd /usr/local/elasticsearch-7.4.2/config/
  2. more elasticsearch.yml | grep ^[^#]
    es安装使用,elasticsearch,大数据

2.4 启动ES集群

分别进入用户 esuser
su esuser
./usr/local/elasticsearch-7.4.2/bin/elasticsearch
es安装使用,elasticsearch,大数据

2.5 测试ES集群

es安装使用,elasticsearch,大数据

四、ik中文分词器

安装ik

ik中文分词器和ES版本需要一致，安装方法一样

1. 安装ik中文分词器(6.4.3版本)

上传zip文件到我们的服务器
es安装使用,elasticsearch,大数据

2. 解压并放在elasticsearch的plugins的ik文件夹下

yum install -y unzip zip 安装zip工具，已安装可跳过
unzip elasticsearch-analysis-ik-6.4.3.zip -d /usr/local/elasticsearch-6.4.3/plugins/ik
es安装使用,elasticsearch,大数据

3.进入ES的ik目录下

cd /usr/local/elasticsearch-6.4.3/plugins/ik

4.重新启动ES

jps
kill ***
su esuser
cd /usr/local/elasticsearch-6.4.3/bin
./elasticsearch -d

使用ik中文分词器

2.1 分词器: ik_max_word

此分词器会将文本进行最细粒度的拆分, 比如将"中华人民共和国国歌"
拆分为"中华人民共和国",“中华人民”,“中华”,“华人”,“人民共和国”,“人民”,“人”,“民”,“共和国”,“共和”,“和”,“国国”,“国歌”
es安装使用,elasticsearch,大数据

2.1 分词器: ik_smart

此分词器会将文本进行最粗粒度的拆分.

es安装使用,elasticsearch,大数据

五、logstash 数据同步

1. logstash 简介

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。
Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。（当然，最喜欢的是Elasticsearch）

数据采集: 可以从数据库中采集到 Elasticsearch
以 自增id(不建议, 会无法识别修改的数据) 或者 update_time 作为同步的边界
可以通过新版 Elasticsearch 所集成的插件 logstash-input-jdbc 直接使用
使用logstash时候要与 Elasticsearch 的版本号保持一致

2. logstash 安装

2.1 (前提是安装好jdk)上传logstash, mysql驱动

es安装使用,elasticsearch,大数据

2.2 logstash 同步配置

  1. 解压logstash: tar -zxvf logstash-6.4.3.tar.gz

  2. 移动 logstash: mv logstash-6.4.3 /usr/local/

  3. 进入该目录: cd /usr/local/logstash-6.4.3/

  4. 创建文件夹sync, 将相关的同步配置放在该文件夹下: mkdir sync

  5. 创建配置文件(后面会进行编辑, 这里进行创建): vim logstash-db-sync.conf
    es安装使用,elasticsearch,大数据

  6. 将数据库驱动进行拷贝到当前的目录下: cp /home/software/mysql-connector-java-5.1.41.jar .
    es安装使用,elasticsearch,大数据

  7. 创建sql存储文件: foodie-items.sql

    SELECT
		i.id AS itemId,
		i.item_name AS itemName,
		i.sell_counts AS sellCounts,
		ii.url AS imgUrl,
		tempSpec.price_discount AS price,
		i.updated_time AS updated_time
FROM items i
LEFT JOIN
		items_img ii
ON
		i.id = ii.item_id
LEFT JOIN
		 (SELECT item_id,MIN(price_discount) as price_discount
				FROM items_spec
				GROUP BY item_id
		 ) tempSpec
ON i.id = tempSpec.item_id
WHERE
		ii.is_main = 1
		AND 
		i.updated_time >= :sql_last_value

  8. 进行修改配置文件 logstash-db-sync.conf: vim logstash-db-sync.conf

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.92.110:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.92.110:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和数据库中的id保持相同
        document_id => "%{id}"
        # document_id => "%{itemId}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

2.3 启动logstash

进入bin目录: cd /usr/local/logstash-6.4.3/bin

启动logstash: ./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf
后台启动：nohup ./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf > logstash.log 2>&1 &
es安装使用,elasticsearch,大数据

es安装使用,elasticsearch,大数据

logstash 只对新增和修改的数据可以进行同步, 而对于数据库中删除的数据是不会进行同步到es中的.
所以数据库中删除的数据, 它在es中只是通过更新时间的方式进行逻辑上的删除.

六.安装 ElasticSearch 可视化插件: es-head

1. 下载并且解压es-header

es-header下载
es安装使用,elasticsearch,大数据

2. 安装 node.js

node.js下载
下载完安装即可
es安装使用,elasticsearch,大数据

3. 在node.js中执行以下命令

进入es-header目录(在目录按shift右击，打开powershell窗口)
npm install
es安装使用,elasticsearch,大数据
npm run start
es安装使用,elasticsearch,大数据

4. 设置跨域

访问http://localhost:9100/ 发现跨域
es安装使用,elasticsearch,大数据

  • 进入 es 核心配置文件, elasticsearch.yml进行添加跨域配置如下
http.cors.enabled: true
http.cors.allow-origin: "*"

es安装使用,elasticsearch,大数据

5. 测试

es安装使用,elasticsearch,大数据文章来源地址https://www.toymoban.com/news/detail-744214.html

到了这里，关于Elasticsearch的安装及使用，这一篇就够了的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • FastJson使用详解这一篇就够了

    第一章 FastJson使用详解这一篇就够了 第二章 FastJsonHttpMessageConverter 类的作用与使用详解 第三章 Jackson 使用详解 为什么使用fastJson,如何使用fastJson以及通用的配置和使用方式将在本文进行详细介绍。 FastJson是一种高性能的Java JSON解析库，它采用类似于Jackson和Gson的JSON序列化和

    2024年02月12日
    浏览(45)
  • SourceTree使用看这一篇就够了

    SourceTree使用看这一篇就够了

     你梦想有一天成为git大师，然而面对复杂的git命令，你感觉TMD这我能记得住吗？你曾经羡慕从命令行敲git命令，才会更加炫酷，然而时间一长，TMD命令我有忘了。那么今天我介绍的这款工具会让你从git命令中解救出来，这就是git可视化工具SourcTree。 事实上Git的功能十分强大

    2024年02月08日
    浏览(64)
  • PhpStudy下载安装使用教程，图文教程（非常详细）从零基础入门到精通，看完这一篇就够了。

    PhpStudy下载安装使用教程，图文教程（非常详细）从零基础入门到精通，看完这一篇就够了。

    一、官网下载 二、安装 三、简单使用 PhpStudy：让天下没有难配的服务器环境。 学习网络安全经常需要搭建各种各样的Web环境，而PphStudy（简称“小皮”）可以一键搭建环境，节省下载、配置环境的时间。 1）访问PhpStudy官网： https://www.xp.cn/ 2）【首页】选择Windows版。 3）跳转

    2024年02月02日
    浏览(69)
  • 【2023版】超详细XShell免费版的安装配置教程以及使用教程，看完这一篇就够了

    【2023版】超详细XShell免费版的安装配置教程以及使用教程，看完这一篇就够了

    一、 XShell的作用 二、 下载免费版XShell 三、 安装XShell 四、使用XShell连接Linux服务器 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 想要下载安装工具包的朋友，给大家准备了一份：282G全网最全的网络安全资料包免费领取！ CSDN大礼包：《黑客网络安全入门进

    2024年02月16日
    浏览(44)
  • 【2023最新版】超详细Metasploit安装保姆级教程，Metasploit渗透测试使用，看完这一篇就够了

    【2023最新版】超详细Metasploit安装保姆级教程，Metasploit渗透测试使用，看完这一篇就够了

    Metasploit 官方介绍 Metasploit是一个渗透测试框架，可以帮助您发现和利用漏洞。 Metasploit还为您提供了一个开发平台，您可以编写自己的安全工具或利用代码。 今天，我将指导您了解如何使用Metasploit的基础知识：如何安装Metasploit，使用框架以及利用漏洞。 下载地址：https://

    2024年02月13日
    浏览(70)
  • hashcat密码p解工具安装及使用（非常详细）零基础入门到精通，收藏这一篇就够了

    hashcat密码p解工具安装及使用（非常详细）零基础入门到精通，收藏这一篇就够了

    Hashcat是一款强大的密码p解工具，可以通过不同的攻击模式来p解各种加密算法（如MD5、SHA1SHA256、MYSQL、PDF等）的密码。以下是Hashcat的安装及使用指南： 从hashcat官网(https://hashcat.net/hashcat/)下载所需版本 当前最新版本为V6.2.6 ，binaries为直接安装使用版本 sources需要编译后安装。

    2024年04月12日
    浏览(44)
  • 分线盒的定义、作用、安装方式，看这一篇就够了

    分线盒的定义、作用、安装方式，看这一篇就够了

    分线盒是配线电缆或光缆的终端，连接配线电缆或光缆和用户线路部分，对主干线进行分支，具有重要的作用。分线盒可安装在桥架、箱体、管道、电缆沟等狭小的空间内，不占用建筑的有效使用面积，安装方便，不需要截断主电缆。   分线盒是工业连接器的一个种类。分线

    2024年02月08日
    浏览(89)
  • 【2023最新版】超详细Sqlmap安装保姆级教程，SQL注入使用指南，收藏这一篇就够了

    【2023最新版】超详细Sqlmap安装保姆级教程，SQL注入使用指南，收藏这一篇就够了

    一、sqlmap简介 sqlmap是一个自动化的SQL注入工具，其主要功能是扫描，发现并利用给定的URL进行SQL注入。目前支持的数据库有MySql、Oracle、Access、PostageSQL、SQL Server、IBM DB2、SQLite、Firebird、Sybase和SAP MaxDB等 Sqlmap采用了以下5种独特的SQL注入技术 基于布尔类型的盲注，即可以根据

    2024年02月10日
    浏览(62)
  • ARM aarch64架构安装Redis看这一篇就够了

    ARM aarch64架构安装Redis看这一篇就够了

    一. 环境准备 系统：Mac OS M1 Linux版本：CentOS 9 Linux架构：aarch64 使用uname -m命令确认自己系统的架构 二. 安装Redis 安装gcc 在安装 Redis 时需要安装 GCC 是因为 Redis 需要编译 C 语言源代码，并将其转换为二进制可执行文件。GCC 是一种广泛使用的编译器，可以将 C 代码编译成机器码

    2024年02月05日
    浏览(49)
  • Spring Boot整合swagger使用教程（这一篇就够了）

    Spring Boot整合swagger使用教程（这一篇就够了）

    你可能尝试过写完一个接口后，自己去创建接口文档，或者修改接口后修改接口文档。多了之后，你肯定会发生一个操作，那就是忘记了修改文档或者创建文档（除非你们公司把接口文档和写接口要求得很紧密😓忘记写文档就扣工资？，否则两个分离的工作总是有可能遗漏的

    2024年01月17日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包