【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

这篇具有很好参考价值的文章主要介绍了【云原生】Elasticsearch + kibana on k8s 讲解与实战操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、概述

Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式,多租户能力的全文搜索引擎。Elasticsearch是用Java开发的,根据Apache许可条款作为开源发布。

【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/master/getting-started.html
GitHub: https://github.com/elastic/elasticsearch

也可以参考我这篇文章:面试宝典之——Elasticsearch

二、Elasticsearch 编排部署

地址:https://artifacthub.io/packages/helm/elastic/elasticsearch

1)添加源并下载编排部署包

helm repo add elastic https://helm.elastic.co
helm pull elastic/elasticsearch --version 7.17.3
tar -xf elasticsearch-7.17.3.tgz

2)构建镜像

Elasticsearch 各版本下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch
这里就不重新构建镜像了,有不知道怎么构建镜像的小伙伴可以给我留言或私信,这里是将远程的镜像推送到我们本地harbor,加速拉取镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.3

docker tag docker.elastic.co/elasticsearch/elasticsearch:7.17.3  myharbor.com/bigdata/elasticsearch:7.17.3

# 上传镜像
docker push myharbor.com/bigdata/elasticsearch:7.17.3

# 删除镜像
docker rmi myharbor.com/bigdata/elasticsearch:7.17.3
crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3

3)修改yaml编排

  • elasticsearch/values.yaml
image: "myharbor.com/bigdata/elasticsearch"

...

...
### 去掉这几行
volumeClaimTemplate:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 30Gi
....

persistence:
  enabled: true
  labels:
    # Add default labels for the volumeClaimTemplate of the StatefulSet
    enabled: false
  annotations: {}
  accessModes:
    - ReadWriteOnce
  size: 1Gi
  storageClass: "elasticsearch-local-storage"
  local:
  - name: elasticsearch-0
    host: "local-168-182-110"
    path: "/opt/bigdata/servers/elasticsearch/data/data1"
  - name: elasticsearch-1
    host: "local-168-182-111"
    path: "/opt/bigdata/servers/elasticsearch/data/data1"
  - name: elasticsearch-2
    host: "local-168-182-112"
    path: "/opt/bigdata/servers/elasticsearch/data/data1"

...

protocol: http
httpPort: 9200
transportPort: 9300
service:
  enabled: true
  type: NodePort
  nodePort: 30920
  httpPortName: http
  
  • elasticsearch/templates/storage-class.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: {{ .Values.persistence.storageClass }}
provisioner: kubernetes.io/no-provisioner
  • elasticsearch/templates/pv.yaml
{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
  labels:
    name: {{ .name }}
spec:
  storageClassName: {{ $.Values.persistence.storageClass }}
  capacity:
    storage: {{ $.Values.persistence.size }}
  accessModes:
  {{- range $.Values.persistence.accessModes }}
    - {{ . | quote }}
  {{- end }}
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - {{ .host }}
---
{{- end }}
  • elasticsearch/templates/statefulset.yaml
spec:
  volumeClaimTemplates:
    spec:
# 去掉这行
{{ toYaml .Values.volumeClaimTemplate | indent 6 }}

# 新增以下内容:
      accessModes:
      {{- range .Values.persistence.accessModes }}
      - {{ . | quote }}
      {{- end }}
      resources:
        requests:
          storage: {{ .Values.persistence.size | quote }}
    {{- if .Values.persistence.storageClass }}
    {{- if (eq "-" .Values.persistence.storageClass) }}
      storageClassName: ""
    {{- else }}
      storageClassName: "{{ .Values.persistence.storageClass }}"
    {{- end }}
    {{- end }}

4)开始部署

# 先创建本地存储目录
mkdir -p /opt/bigdata/servers/elasticsearch/data/data1
chmod -R 777 /opt/bigdata/servers/elasticsearch/data/data1

helm install my-elasticsearch ./elasticsearch -n elasticsearch --create-namespace
# 查看
helm get notes my-elasticsearch -n elasticsearch
kubectl get pods,svc -n elasticsearch -owide

NOTES

NAME: my-elasticsearch
LAST DEPLOYED: Wed Oct 12 23:47:17 2022
NAMESPACE: elasticsearch
STATUS: deployed
REVISION: 1
NOTES:
1. Watch all cluster members come up.
  $ kubectl get pods --namespace=elasticsearch -l app=elasticsearch-master -w2. Test cluster health using Helm test.
  $ helm --namespace=elasticsearch test my-elasticsearch

【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

5)测试验证

 curl http://192.168.182.110:30920/
curl http://192.168.182.110:30920/_cat/nodes
curl http://192.168.182.110:30920/_cat/health?pretty

【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

6)elasticsearch-head

elasticsearch-head GitHub下载地址:https://github.com/mobz/elasticsearch-head
Google 浏览器 elasticsearch-head插件:

链接:https://pan.baidu.com/s/1kYcTjBDPmSWVzsku2hEW7w?pwd=67v4
提取码:67v4

【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

7)卸载

helm uninstall my-elasticsearch -n elasticsearch
kubectl delete ns elasticsearch --force

rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*
ssh local-168-182-111 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"
ssh local-168-182-112 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"

docker rmi myharbor.com/bigdata/elasticsearch:7.17.3
crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3
ssh local-168-182-111 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"
ssh local-168-182-112 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"

三、Kibana 编排部署

地址:https://artifacthub.io/packages/helm/bitnami/kibana?modal=install

1)添加源并下载编排部署包

helm repo add bitnami https://charts.bitnami.com/bitnami
helm pull bitnami/kibana --version 10.2.6
tar -xf kibana-10.2.6.tgz

2)构建镜像

这里也不重新构建镜像了,只是将镜像推送到本地harbor加速,对构建镜像不清楚的可以留言或私信。【注意】版本号需要跟ES相对应,版本不一样,可能会存储不兼容的情况。

docker pull docker.io/bitnami/kibana:7.17.3
docker tag docker.io/bitnami/kibana:7.17.3 myharbor.com/bigdata/kibana:7.17.3

# 上传镜像
docker push myharbor.com/bigdata/kibana:7.17.3

# 删除镜像
docker rmi myharbor.com/bigdata/kibana:7.17.3
crictl rmi myharbor.com/bigdata/kibana:7.17.3

3)修改yaml编排

  • kibana/values.yaml
image:
  registry: myharbor.com
  repository: bigdata/kibana
  tag: 8.4.3-debian-11-r1

...

replicaCount: 1

...

persistence:
  enabled: true
  accessModes:
    - ReadWriteOnce
  size: 1Gi
  storageClass: "kibana-local-storage"
  local:
  - name: kibana-0
    host: "local-168-182-111"
    path: "/opt/bigdata/servers/kibana/data/data1"

...

service:
  ports:
    http: 5601
  type: NodePort
  nodePorts:
    http: "30601"

...

elasticsearch:
  hosts:
    - elasticsearch-master.elasticsearch
  port: "9200"
  • kibana/templates/values.yaml
{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
  labels:
    name: {{ .name }}
spec:
  storageClassName: {{ $.Values.persistence.storageClass }}
  capacity:
    storage: {{ $.Values.persistence.size }}
  accessModes:
  {{- range $.Values.persistence.accessModes }}
    - {{ . | quote }}
  {{- end }}
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - {{ .host }}
---
{{- end }}
  • kibana/templates/storage-class.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: {{ .Values.persistence.storageClass }}
provisioner: kubernetes.io/no-provisioner
  • kibana/templates/pv.yaml
{{- range .Values.persistence.local }}
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: {{ .name }}
  labels:
    name: {{ .name }}
spec:
  storageClassName: {{ $.Values.persistence.storageClass }}
  capacity:
    storage: {{ $.Values.persistence.size }}
  accessModes:
  {{- range $.Values.persistence.accessModes }}
    - {{ . | quote }}
  {{- end }}
  local:
    path: {{ .path }}
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - {{ .host }}
---
{{- end }}

4)开始部署

# 先创建本地存储目录
mkdir -p /opt/bigdata/servers/kibana/data/data1
chmod -R 777 /opt/bigdata/servers/kibana/data/data1

helm install my-kibana ./kibana -n kibana --create-namespace
# 查看
helm get notes my-kibana -n kibana 
kubectl get pods,svc -n kibana -owide

NOTES

NAME: my-kibana
LAST DEPLOYED: Thu Oct 13 22:43:30 2022
NAMESPACE: kibana
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: kibana
CHART VERSION: 10.2.6
APP VERSION: 8.4.3

** Please be patient while the chart is being deployed **######################################################################################################
### ERROR: You did not provide the Elasticsearch external host or port in your 'helm install' call ###
######################################################################################################

Complete your Kibana deployment by running:

  helm upgrade --namespace kibana my-kibana my-repo/kibana \
    --set elasticsearch.hosts[0]=YOUR_ES_HOST,elasticsearch.port=YOUR_ES_PORT

Replacing "YOUR_ES_HOST" and "YOUR_ES_PORT" placeholders by the proper values of your Elasticsearch deployment.

【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

5)测试验证

web:http://192.168.182.111:30601
【云原生】Elasticsearch + kibana on k8s 讲解与实战操作

6)卸载

helm uninstall my-kibana -n kibana
kubectl delete ns kibana --force

ssh local-168-182-111 rm -fr /opt/bigdata/servers/kibana/data/data1/*

docker rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1
crictl rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1

elasticsearch-on-k8s 下载地址:https://gitee.com/hadoop-bigdata/elasticsearch-on-k8s
kibana-on-k8s 下载地址:https://gitee.com/hadoop-bigdata/kibana-on-k8s

Elasticsearch + kibana on k8s 编排部署讲解与实战操作就先到这里了,这里只是简单的演示了查询,更多的操作,可以参考官方文档,有疑问的小伙欢迎给我留言,后续会持续更新【云原生+大数据】相关的文章~文章来源地址https://www.toymoban.com/news/detail-402065.html

到了这里,关于【云原生】Elasticsearch + kibana on k8s 讲解与实战操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 容器化(Docker、K8S)部署Elasticsearch + Kibana

    ElasticSearch简介 本次实验目标 实验环境 Docker部署Elasticsearch + Kibana 安装中文分词器插件,配置认证 基本操作 在华为云CCE中部署 使用Logstash进行数据迁移

    2024年01月19日
    浏览(74)
  • k8s使用ECK形式部署elasticsearch+kibana

    在k8s上基于ECK(2.4)部署elasticsearch,简单记录一下,主要是quickstart的快速模式下增加了nodeport端口和可以定义密码的超级管理员账号。不说废话,直接上干货。 参考链接 ECK官网链接: https://www.elastic.co/cn/elastic-cloud-kubernetes ECK快速启动链接: https://www.elastic.co/guide/en/cloud-on-k8s

    2024年02月06日
    浏览(45)
  • k8s部署新版elasticsearch+kibana并配置快照备份

    版本:es 7.17.6 kibana 7.17.6 k8s:1.19.16 Elasticsearch和Kibana是一对强大的开源工具,通常一起使用以构建实时数据分析和可视化解决方案。 Elasticsearch: Elasticsearch是一个分布式、高性能的实时搜索和分析引擎。它构建在开源搜索引擎库Lucene之上,并提供了一个分布式、可扩展的架构,用

    2024年02月13日
    浏览(34)
  • 在k8s集群中搭建elasticsearch+kibana+flentd日志系统

    在离线环境部署一套日志采集系统我采用的是elasticsearch+kibana+flentd日志系统 yaml文件如下: apiVersion: v1 kind: Namespace metadata: name: logging kind: Service apiVersion: v1 metadata: name: elasticsearch namespace: logging labels: app: elasticsearch spec: selector: app: elasticsearch clusterIP: None ports: - port: 9200 name: res

    2024年02月16日
    浏览(38)
  • k8s Operator 部署 elasticsearch 7.10 + kibana + cerebro

    1.1 部署 ECK Elastic Cloud on Kubernetes,这是一款基于 Kubernetes Operator 模式的新型编排产品,用户可使用该产品在 Kubernetes 上配置、管理和运行 Elasticsearch 集群。ECK 的愿景是为 Kubernetes 上的 Elastic 产品和解决方案提供 SaaS 般的体验。 k8s 版本 部署 ECK 1)If you are running a version of Kub

    2024年02月08日
    浏览(42)
  • 3.2.0 终极预告!云原生支持新增 Spark on k8S 支持

    视频贡献者 | 王维饶 视频制作者 | 聂同学 编辑整理 | Debra Chen Apache DolphinScheduler 3.2.0 版本将发布,为了让大家提前了解到此版本更新的主要内容,我们已经制作了几期视频和内容做了大致介绍,包括《重磅预告!Apache DolphinScheduler 3.2.0 新功能“剧透”》、《3.2.0 版本预告!

    2024年02月11日
    浏览(37)
  • k8s部署 elk(Elasticsearch,Kibana,Logstash,Redis,Filebea)

    目录 一、nfs存储 二、部署镜像,制作tag 三、 filebeat收集数据  四、logstash过滤数据 五、elasticsearch存储数据+nfs做存储(自动注册pv详见前文) 六、kibana展示数据 七、验证安装 参考链接:k8s 配置hadoop集群,nfs作为存储_疯飙的蜗牛的博客-CSDN博客

    2024年02月11日
    浏览(41)
  • 这篇 DolphinScheduler on k8s 云原生部署实践,值得所有大数据人看!

    在当前快速发展的技术格局中,企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具,允许跨分布式系统进行复杂的工作流任务调度。本文将深入探讨如何将Apache DolphinScheduler适配并整合进现代IT环境,提升其在云原生部署中的表

    2024年04月17日
    浏览(39)
  • K8s部署轻量级日志收集系统EFK(elasticsearch + filebeat + kibana)

    目录 K8s部署EFK(elasticsear + filebeat + kibana)日志收集 一.准备镜像 二.搭建Elasticsearch + kibana 1.在可执行kubectl命令的服务器准备安装的yml文件 2.在elasticsearch-kibana目录下创建配置文件elasticsearch.yml 3.创建kibana配置文件kibana.yml 4.在k8s中创建elasticsearch和kibana的配置文件configmap 5.检查

    2024年02月08日
    浏览(64)
  • k8s使用ECK(2.4)形式部署elasticsearch+kibana-http协议

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 之前写了eck2.4部署es+kibana,默认的话是https协议的,这里写一个使用http协议的配置。 参考文章:链接: Kubernetes基于ECK部署elasticsearch8.8集群 首先按照https的部署方式部署crd和operator。 链接: k8s使用ECK(2

    2024年02月10日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包