1. Toy模板网首页
  2. > Toy博客

开源大数据集群部署（十四）Ranger集成Hbase

8月前 作者：云掣YUNCHE 分类：Toy博客 阅读(40) 违法举报

这篇具有很好参考价值的文章主要介绍了开源大数据集群部署（十四）Ranger集成Hbase。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

作者：櫰木
在hd1.dtstack.com主机上执行
在hmaster和back master上进行安装和执行

  • 解压ranger-2.3.0-hbase-plugin
[root@hd1.dtstack.com ranger-plugin]# cd /root/bigdata
[root@hd1.dtstack.com ranger-plugin]# tar -zvxf ranger-2.3.0-hbase-plugin -C /opt
  • 配置ranger hbase插件的install.properties
[root@hd1.dtstack.com ranger-2.3.0-hbase-plugin]# cat >install.properties<<EOF
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
 
#
# Location of Policy Manager URL  
#
# Example:
# POLICY_MGR_URL=http://policymanager.xasecure.net:6080
#
POLICY_MGR_URL=http://hd1.dtstack.com:6080
 
#
# This is the repository name created within policy manager
#
# Example:
# REPOSITORY_NAME=hbasedev
#
REPOSITORY_NAME=hbasedev
 
#
# HBase configuration directory
#
# Example:
# COMPONENT_INSTALL_DIR_NAME=/var/local/hbase-1.1.5
#
COMPONENT_INSTALL_DIR_NAME=/opt/hbase
 
# AUDIT configuration with V3 properties
 
#Should audit be summarized at source
XAAUDIT.SUMMARY.ENABLE=true
 
# Enable audit logs to Solr
#Example
#XAAUDIT.SOLR.ENABLE=true
#XAAUDIT.SOLR.URL=http://localhost:6083/solr/ranger_audits
#XAAUDIT.SOLR.ZOOKEEPER=
#XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hbase/audit/solr/spool
#XAAUDIT.SOLR.ENABLE=false
#XAAUDIT.SOLR.URL=http://hd1.dtstack.com:8983/solr/ranger_audits
#XAAUDIT.SOLR.USER=NONE
#XAAUDIT.SOLR.PASSWORD=NONE
#XAAUDIT.SOLR.ZOOKEEPER=hd1:2181,hd2:2181,hd3:2181/ranger_audits
#XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hadoop/hdfs/audit/solr/spool
 
 
# Enable audit logs to ElasticSearch
#Example
#XAAUDIT.ELASTICSEARCH.ENABLE=true
#XAAUDIT.ELASTICSEARCH.URL=localhost
#XAAUDIT.ELASTICSEARCH.INDEX=audit
 
XAAUDIT.ELASTICSEARCH.ENABLE=false
XAAUDIT.ELASTICSEARCH.URL=NONE
XAAUDIT.ELASTICSEARCH.USER=NONE
XAAUDIT.ELASTICSEARCH.PASSWORD=NONE
XAAUDIT.ELASTICSEARCH.INDEX=NONE
XAAUDIT.ELASTICSEARCH.PORT=NONE
XAAUDIT.ELASTICSEARCH.PROTOCOL=NONE
 
# Enable audit logs to HDFS
#Example
#XAAUDIT.HDFS.ENABLE=true
#XAAUDIT.HDFS.HDFS_DIR=hdfs://node-1.example.com:8020/ranger/audit
#  If using Azure Blob Storage
#XAAUDIT.HDFS.HDFS_DIR=wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>
#XAAUDIT.HDFS.HDFS_DIR=wasb://ranger_audit_container@my-azure-account.blob.core.windows.net/ranger/audit
#XAAUDIT.HDFS.FILE_SPOOL_DIR=/var/log/hbase/audit/hdfs/spool
 
XAAUDIT.HDFS.ENABLE=false
XAAUDIT.HDFS.HDFS_DIR=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit
XAAUDIT.HDFS.FILE_SPOOL_DIR=/var/log/hbase/audit/hdfs/spool
 
# Following additional propertis are needed When auditing to Azure Blob Storage via HDFS
# Get these values from your /etc/hadoop/conf/core-site.xml
#XAAUDIT.HDFS.HDFS_DIR=wasb[s]://<containername>@<accountname>.blob.core.windows.net/<path>
XAAUDIT.HDFS.AZURE_ACCOUNTNAME=__REPLACE_AZURE_ACCOUNT_NAME
XAAUDIT.HDFS.AZURE_ACCOUNTKEY=__REPLACE_AZURE_ACCOUNT_KEY
XAAUDIT.HDFS.AZURE_SHELL_KEY_PROVIDER=__REPLACE_AZURE_SHELL_KEY_PROVIDER
XAAUDIT.HDFS.AZURE_ACCOUNTKEY_PROVIDER=__REPLACE_AZURE_ACCOUNT_KEY_PROVIDER
 
#Log4j Audit Provider
XAAUDIT.LOG4J.ENABLE=false
XAAUDIT.LOG4J.IS_ASYNC=false
XAAUDIT.LOG4J.ASYNC.MAX.QUEUE.SIZE=10240
XAAUDIT.LOG4J.ASYNC.MAX.FLUSH.INTERVAL.MS=30000
XAAUDIT.LOG4J.DESTINATION.LOG4J=true
XAAUDIT.LOG4J.DESTINATION.LOG4J.LOGGER=xaaudit
 
# Enable audit logs to Amazon CloudWatch Logs
#Example
#XAAUDIT.AMAZON_CLOUDWATCH.ENABLE=true
#XAAUDIT.AMAZON_CLOUDWATCH.LOG_GROUP=ranger_audits
#XAAUDIT.AMAZON_CLOUDWATCH.LOG_STREAM={instance_id}
#XAAUDIT.AMAZON_CLOUDWATCH.FILE_SPOOL_DIR=/var/log/hive/audit/amazon_cloudwatch/spool
 
XAAUDIT.AMAZON_CLOUDWATCH.ENABLE=false
XAAUDIT.AMAZON_CLOUDWATCH.LOG_GROUP=NONE
XAAUDIT.AMAZON_CLOUDWATCH.LOG_STREAM_PREFIX=NONE
XAAUDIT.AMAZON_CLOUDWATCH.FILE_SPOOL_DIR=NONE
XAAUDIT.AMAZON_CLOUDWATCH.REGION=NONE
 
# End of V3 properties
 
#
#  Audit to HDFS Configuration
#
# If XAAUDIT.HDFS.IS_ENABLED is set to true, please replace tokens
# that start with __REPLACE__ with appropriate values
#  XAAUDIT.HDFS.IS_ENABLED=true
#  XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
#  XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=__REPLACE__LOG_DIR/hbase/audit/%app-type%
#  XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=__REPLACE__LOG_DIR/hbase/audit/archive/%app-type%
#
# Example:
#  XAAUDIT.HDFS.IS_ENABLED=true
#  XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://namenode.example.com:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
#  XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=/var/log/hbase/audit/%app-type%
#  XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=/var/log/hbase/audit/archive/%app-type%
#
XAAUDIT.HDFS.IS_ENABLED=false
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit/%app-type%/%time:yyyyMMdd%
XAAUDIT.HDFS.LOCAL_BUFFER_DIRECTORY=__REPLACE__LOG_DIR/hbase/audit/%app-type%
XAAUDIT.HDFS.LOCAL_ARCHIVE_DIRECTORY=__REPLACE__LOG_DIR/hbase/audit/archive/%app-type%
 
XAAUDIT.HDFS.DESTINTATION_FILE=%hostname%-audit.log
XAAUDIT.HDFS.DESTINTATION_FLUSH_INTERVAL_SECONDS=900
XAAUDIT.HDFS.DESTINTATION_ROLLOVER_INTERVAL_SECONDS=86400
XAAUDIT.HDFS.DESTINTATION_OPEN_RETRY_INTERVAL_SECONDS=60
XAAUDIT.HDFS.LOCAL_BUFFER_FILE=%time:yyyyMMdd-HHmm.ss%.log
XAAUDIT.HDFS.LOCAL_BUFFER_FLUSH_INTERVAL_SECONDS=60
XAAUDIT.HDFS.LOCAL_BUFFER_ROLLOVER_INTERVAL_SECONDS=600
XAAUDIT.HDFS.LOCAL_ARCHIVE_MAX_FILE_COUNT=10
 
#Solr Audit Provider
XAAUDIT.SOLR.IS_ENABLED=false
XAAUDIT.SOLR.MAX_QUEUE_SIZE=1
XAAUDIT.SOLR.MAX_FLUSH_INTERVAL_MS=1000
XAAUDIT.SOLR.SOLR_URL=http://localhost:6083/solr/ranger_audits
 
# End of V2 properties
 
 
#
# SSL Client Certificate Information
#
# Example:
# SSL_KEYSTORE_FILE_PATH=/etc/hbase/conf/ranger-plugin-keystore.jks
# SSL_KEYSTORE_PASSWORD=none
# SSL_TRUSTSTORE_FILE_PATH=/etc/hbase/conf/ranger-plugin-truststore.jks
# SSL_TRUSTSTORE_PASSWORD=none
#
# You do not need use SSL between agent and security admin tool, please leave these sample value as it is.
#
SSL_KEYSTORE_FILE_PATH=/etc/hbase/conf/ranger-plugin-keystore.jks
SSL_KEYSTORE_PASSWORD=myKeyFilePassword
SSL_TRUSTSTORE_FILE_PATH=/etc/hbase/conf/ranger-plugin-truststore.jks
SSL_TRUSTSTORE_PASSWORD=changeit
 
#
# Should HBase GRANT/REVOKE update XA policies?
#
# Example:
#     UPDATE_XAPOLICIES_ON_GRANT_REVOKE=true
#     UPDATE_XAPOLICIES_ON_GRANT_REVOKE=false
#
UPDATE_XAPOLICIES_ON_GRANT_REVOKE=true
 
#
# Custom component user
# CUSTOM_COMPONENT_USER=<custom-user>
# keep blank if component user is default
CUSTOM_USER=hbase
 
 
#
# Custom component group
# CUSTOM_COMPONENT_GROUP=<custom-group>
# keep blank if component group is default
CUSTOM_GROUP=hadoop
EOF
  • 初始化ranger hbase
[root@hd1.dtstack.com ranger-2.3.0-hbase-plugin]# ./enable-hbase-plugin.sh
  • 重启hbase服务
[hbase@hd1.dtstack.com ~]$ sh stop-habse.sh
[hbase@hd1.dtstack.com ~]$ sh start-habse.sh
  • Ranger admin页面配置hbase

访问地址：http://hd1.dtstack.com:6080/
用户密码：admin/rangerAdmin123
开源大数据集群部署（十四）Ranger集成Hbase,开源大数据集群部署,大数据,开源,hbase
开源大数据集群部署（十四）Ranger集成Hbase,开源大数据集群部署,大数据,开源,hbase
测试连通性，连接成功后保存即可
开源大数据集群部署（十四）Ranger集成Hbase,开源大数据集群部署,大数据,开源,hbase

#在core-site.xml查看此参数

hadoop.security.authentication: Kerberos

在hbase-site.xml中查看此参数

hbase.master.kerberos.principal：hbase/_HOST@DTSTACK.COM

hbase.zookeeper.property.clientPort: 2181

hbase.zookeeper.quorum: hd1.dtstack.com,hd2.dtstack.com,hd3.dtstack.com

zookeeper.znode.parent : /hbase11

#下载策略

policy.download.auth.users: hdfs

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw文章来源地址https://www.toymoban.com/news/detail-842077.html

到了这里，关于开源大数据集群部署（十四）Ranger集成Hbase的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【报错-大数据技术-Hbase & Ranger】hbase创建、删除（表、命名空间）无权限问题，但是向表put、get、scan数据报错

    1、问题描述 使用hbase shell执行创建命名空间、创建表、插入数据、获取数据、查看数据、删除命名空间、删除表等命令操作，发现可以创建命名空间、创建表、删除命名空间、删除表，但是插入数据、获取数据、查看数据等操作却报没有权限的问题，但是我已在Ranger上赋予用

    2024年03月15日
    浏览(87)

  • HBase在大数据集群的安装部署及整合Phoenix

    前提：需要保证三台虚拟机hadoop102-104已经部署好基本配置。未完成的可以参考：https://blog.csdn.net/weixin_73195042/article/details/135886619 上传HBase安装包到/opt/software文件夹内 配置环境变量 在末尾添加 使用 source 让配置的环境变量生效 将环境变量分发到其他虚拟机上，并且也要sour

    2024年04月27日
    浏览(43)
  • 《Hadoop核心技术》Hbase集群部署，创建表，删除表，插入数据，查询数据

    《Hadoop核心技术》Hbase集群部署，创建表，删除表，插入数据，查询数据

    额前言：         我是一名正在学习《Hadoop核心技术》的学生，今天跟大家分享一下在虚拟机上在Hadoop集群中用Hbase进行简单的增删查 可以进行随机访问的存取和检索数据的存储平台         HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库（也即非关系型数据库

    2024年02月03日
    浏览(49)
  • HBase集群部署

    HBase集群部署

    相关版本：Hadoop：2.7.3 hbase：1.3.1 hbase相关版本下载 安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下 2.1 修改Master节点和Slave节点的/etc/hosts文件 添加以下内容: 2. 2修改Master节点和Slave节点的/root/.bash_profile文件 添加内容如下 如图所示： 3修改配置文件hbase-en

    2024年02月19日
    浏览(37)

  • HBase学习三：集群部署

    集群启停顺序：启动Hadoop—启动HBase—关闭HBase—关闭Hadoop 参考基础环境配置 hostname ip vm1 ip1 vm2 ip2 vm3 ip3 hdfs的集群搭建可以参考 hdfs集群搭建 hdfs集群机器分配 NameNode DataNode JournalNode Zookeeper vm1 ✔ ✔ ✔ ✔ vm2 ✔ ✔ ✔ ✔ vm3 × ✔ ✔ ✔

    2024年01月18日
    浏览(36)
  • 【李老师云计算】HBase+Zookeeper部署及Maven访问（HBase集群实验）

    【李老师云计算】HBase+Zookeeper部署及Maven访问（HBase集群实验）

    本篇博客内容大部分参考了涛哥的博客，在此基础上进行了整合、补充以及融合了我自己的操作，向学长表示敬意！ 本次操作，为什么说是操作不是实验呢，因为这个不算课内的作业，而是必须要完成的额外任务，是在完成了【李老师云计算】实验一：Hadoop伪分布式集群部署

    2023年04月20日
    浏览(38)

  • docker-compose部署hbase集群 —— 筑梦之路

    HBase  是一个开源的  NoSQL   列式分布式数据库 ，它主要基于  Hadoop  分布式文件系统（HDFS）运行。 HBase  最初是由  Facebook  公司贡献，其基于  Google 的  Bigtable  模型开发，在强大的水平扩展性和高可用性的基础上，提供了可以扩展垂直规模的存储。 HBase  主要特点如下

    2024年02月10日
    浏览(48)
  • 【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群

    【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群

    前言 此实验搭建3个虚拟节点，一个mater，一个slave1，一个slave2 集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但在物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有： NameNode、DataNode、SecondaryNode YARN集群负责海量数据运算

    2024年02月08日
    浏览(49)
  • HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式（详细安装+配置+增删改查测试脚本）（附开源镜像站地址）

    HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式（详细安装+配置+增删改查测试脚本）（附开源镜像站地址）

    HBase的 官网 内容还是挺多的，下载安装包还是使用 清华大学开源软件镜像站 会快一些 ⚡️ 本文的安装文件为：hbase-2.4.5-bin.tar.gz HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。运行时不仅需要 Hadoop 还依赖 JDK 环境，HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需

    2024年04月11日
    浏览(44)
  • Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

    Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

    前面安装的软件，都是以单机模式运行的，学习大数据相关的软件部署，后续安装软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。所以，需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。 我们可以使用VMware提供

    2024年02月04日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包