【大数据开发运维解决方案】华为FusionInsight大数据Kibana对接安全模式Elasticsearch方案

这篇具有很好参考价值的文章主要介绍了【大数据开发运维解决方案】华为FusionInsight大数据Kibana对接安全模式Elasticsearch方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

博主所在单位使用的大数据集群为华为FusionInsight,本篇文章主要介绍的是如何将开源Kibana对接到华为安全模式下Elasticsearch。同样,本篇文章适用其他版本Kibana对接安全模式Elasticsearch。


Elasticsearch对接Kibana

注意事项:所有配置项:后边必须有个空格。

一、操作场景

Kibana提供了图形化操作界面,通过可视化界面对Elasticsearch进行索引构建、查询、分析等操作。

二、前提条件

已下载安装Kibana。

下载Kibana安装包“kibana-oss-6.7.1-linux-x86_64.tar.gz”并上传至待安装节点,例如“/opt”目录下。
开源社区下载地址:点我下载。

解压安装包,并进入对应解压目录。

cd /opt

tar -zxvf kibana-oss-6.7.1-linux-x86_64.tar.gz

cd kibana-6.7.1-linux-x86_64/

说明:

  • 使用Dev Tools功能的用户,需要在elasticsearch组内。
  • 使用其他功能的用户,需要在supergroup组内。

三、操作步骤

1、确认当前系统为X86服务器还是TaiShan服务器

TaiShan,执行步骤 2。
X86,执行步骤 3。

2.(taishan服务器执行,x86不用)下载node-v10.15.2-linux-arm64.tar.gz

node下载地址:点我下载
解压后替换kibana-6.7.1-linux-x86_64下的node。

tar -zxvf node-v10.15.2-linux-arm64.tar.gz -C /opt

rm -rf /opt/kibana-6.7.1-linux-x86_64/node/*

mv /opt/node-v10.15.2-linux-arm64/* /opt/kibana-6.7.1-linux-x86_64/node/

3.x86服务器执行

修改“config/kibana.yml”配置,示例如下。

#Kibana在Elasticsearch中使用的索引名称。
#若需要启动多个Kibana,请确保不同用户的该配置项内容不重复。
kibana.index: ".kibana"
#Kibana服务端口。
server.port: 5601
#当前节点ip,默认localhost。
server.host: "192.168.56.11"
#需要访问的Elasticsearch节点IP及端口号,建议配置EsNode1实例的IP和端口号。普通模式下,请将https修改为http。
elasticsearch.hosts: ["https://192.168.56.11:24100"] 
#直接填写none即可。
elasticsearch.ssl.verificationMode: none
#修改xxxxxx为“用户名:密码”的base64转码结果;普通模式不需要此项配置。
elasticsearch.customHeaders: {"custom-proxy-username":"xxxxxx"}
#Kibana日志目录,根据实际场景自定义即可,请提前手动创建该文件。
logging.dest: /opt/kibana-6.7.1-linux-x86_64/log/kibana.log
#Kibana健康检查周期,请根据实际使用场景合理填写,单位ms。
elasticsearch.healthCheck.delay: 60000

说明:

  • elasticsearch.hosts禁止配置EsMaster节点的IP和Port。EsMaster实例为重要的管理进程,为确保Elasticsearch集群稳定性,不允许配置EsMaster节点IP和Port。
  • 因部分java库仍遵循RFC的Base64规定,在进行加密时会增加换行符,请保证elasticsearch.customHeaders配置项中的信息无换行符。
  • 可下载Elasticsearch客户端,导入RestClient二次开发样例,使用com.huawei.fusioninsight.elasticsearch.example.util.Base64Utils工具类进行Base64加密。
  • 请确保Base64转码结果在填写时,只替换“xxxxxx”部分。
  • 例如,当前用户名为test,密码为123,“test:123”转base64后为“dGVzdDoxMjM=”,则配置项填写为:elasticsearch.customHeaders: {"custom-proxy-username":"dGVzdDoxMjM="}

4、启动Kibana

./bin/kibana

说明:

  • 如需后台运行,可执行如下命令启动Kibana:
nohup ./bin/kibana &

查看Kibana日志,确认启动成功后,登录Kibana界面。
在配置的Kibana日志文件中,找到如下类似日志,即表明Kibana已经启动成功,在浏览器输入日志中打印的链接即可,如http://192.168.56.11:5601

{"type":"log","@timestamp":"2019-06-07T07:07:32Z","tags":["status","plugin:elasticsearch@6.7.1","info"],"pid":44252,"state":"green","message":"Status changed from yellow to green - Ready","prevState":"yellow","prevMsg":"Waiting for Elasticsearch"}
{"type":"log","@timestamp":"2019-06-07T07:07:32Z","tags":["listening","info"],"pid":44252,"message":"Server running at http://10.1.1.1:5601"}

说明:

  • create index pattern等操作,Kibana会创建相关索引,默认为".kibana"开头。
  • Kibana会根据健康检查状态进行信息反馈,如果在healthCheck周期内,信息发生变化(例如切换登录用户),可能需要等到下一次healthCheck的反馈结果才会生效;同时,健康检查会发送多个http请求到Elasticsearch,为防止增加Elasticsearch集群的压力,请根据使用场景,合理配置kibana.yml中的健康检查周期,即参数elasticsearch.healthCheck.delay

四、导入Rest Client客户端样例工程

https://support.huawei.com/hedex/hdx.do?lib=EDOC1100094387YZI0715G&docid=EDOC1100094387&lang=zh&v=08&tocLib=EDOC1100094387YZI0715G&tocV=08&id=ZH-CN_TOPIC_0165589276&tocURL=resources%2525252Fzh-cn_topic_0165589276.html&p=t&fe=1&ui=3&keyword=%2525252525u5bfc%2525252525u5165Rest%252525252520Client%2525252525u5ba2%2525252525u6237%2525252525u7aef%2525252525u6837%2525252525u4f8b%2525252525u5de5%2525252525u7a0b

总结

博主所在单位使用的大数据集群为华为FusionInsight,本篇文章主要介绍的是如何将开源Kibana对接到华为安全模式下Elasticsearch。同样,本篇文章适用其他版本Kibana对接安全模式Elasticsearch。文章来源地址https://www.toymoban.com/news/detail-404797.html

到了这里,关于【大数据开发运维解决方案】华为FusionInsight大数据Kibana对接安全模式Elasticsearch方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据中心建设和运维综合解决方案

    本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除。 部分资料内容: nbsp;nbsp;云计算数据中心通过运行在单独的服务器上的云操作系统对服务器、存储、网络等资源进行虚拟化管理,提供可以自定义的虚拟机,在虚拟机上安装Hadoop、hbase等Nosql分布式数据库

    2024年02月11日
    浏览(24)
  • 智慧电网数据可视化运维云平台解决方案

    智慧电力概述 智慧电力是通过采用先进的大数据、云计算、物联网、边缘计算等技术,实现生产信息与管理信息的智慧,实现人、技术、经营目标和管理方法的集成,是企业管理思想的一个新突破。智慧电厂建设具备智能化、一体化、可观测、可互动、自学习、自寻优等九大

    2024年01月20日
    浏览(34)
  • 华为主题开发分享-在windows 11操作系统上识别不到P50等华为手机的解决方案

    在开发华为手机主题时,我们都是采用Them studio进行实际测试,无它,官方工具的“同步”功能实在是好用。一键就能将主题推到手机上进行测试,高效方便。 但对于有的老款手机比如p50,在windows 11操作系统上,会遇到无法识别硬件的苦恼。 这里分享下解决方案。 1、首先,

    2024年02月12日
    浏览(63)
  • 阿里云数据迁移工具解决方案:华为云迁移到阿里云

    对于华为云批量迁移到阿里云,HyperMotion可以支持批量一键式安装Agent软件,做到了操作步骤简单化、自动化,可以满足常见源端操作系统类型。 例如:Windows 2003-2019,CentOS、RedHat 6.x-7.x、Ubuntu 14.x - 16.x、SUSE 11spx - 12 spx等多类型操作系统的全场景化覆盖。 Agent代理模式会在源端

    2024年02月03日
    浏览(26)
  • 漏刻有时百度地图API实战开发(1)华为手机无法使用addEventListener click 的兼容解决方案

    漏刻有时百度地图API实战开发(1)华为手机无法使用addEventListener click 的兼容解决方案 漏刻有时百度地图API实战开发(2)文本标签显示和隐藏的切换开关 漏刻有时百度地图API实战开发(3)自动获取地图多边形中心点坐标 漏刻有时百度地图API实战开发(4)显示指定区域在移动端异常的

    2024年01月19日
    浏览(37)
  • 支持华为GaussDB数据库的免费开源ERP:人力资源管理解决方案概述

    开源智造所推出的Odoo SuperPeople数字化解决方案将HR和薪资数据与财务、项目规划、预算和采购流程连接起来,消除了多套系统给企业带来的信息孤岛问题。 ——复星集团 人力资源中心 高经理 开源智造·Odoo SuperPeople 人力资源管理解决方案提供了一套领先同行且功能应用完整

    2024年01月16日
    浏览(76)
  • 酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

    在一起,共迎新机遇!8月25-26日,2023华为数据存储用户精英论坛在西宁召开。酷克数据作为国内云原生数据仓库的代表企业,也是华为重要的生态合作伙伴,受邀参与本次论坛,并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。 在本次论坛上,华

    2024年02月09日
    浏览(21)
  • 网络设备远程运维管理解决方案

           在当今高度信息化的时代,网络设备远程运维管理已成为企业运营中的一项核心任务。随着设备数量不断增加,分布日益广泛,传统的现场维护方式已无法满足企业对效率和经济性的需求。如何寻找一种高效、便捷的设备远程运维管理系统,已成为企业的迫切需求。

    2024年01月20日
    浏览(24)
  • 光伏电站智慧运维辅助系统解决方案 助力光伏运维监控智能化

    一、方案背景 由于光伏电站多建设在偏远地区,占地面广、地形分布复杂、受暴雨风雪恶劣天气影响,且电站运行人员少,流动性较大,容易造成管理混乱、运维效率低下,加之故障率高、电能损耗大等问题,给电站资产后续的经营管理以及发展带来了诸多风险和挑战。 随

    2024年02月08日
    浏览(36)
  • 华为云Elasticsearch(FusionInsight HD) 连接和开发教程-环境准备

    Elasticsearh简介 Elasticsearch是一个基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎和分析引擎。设计用于大数据中,能够稳定、可靠、快速地实现实时搜索和分析,并且安装使用的方法十分简单方便。 Elasticsearch相比传统关系数据库,通过时间戳或者精确

    2024年02月03日
    浏览(23)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包