基於Hadoop HA 在kerberos中配置datax-Toy模板网

这篇具有很好参考价值的文章主要介绍了基於Hadoop HA 在kerberos中配置datax。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

基於Hadoop HA 在kerberos中配置datax

目的是基於HAODOP HA集群在kerberos中配置datax，配置分為兩個步驟進行：
1.基於HADOOP HA 搭建datax
2.在1的基礎上，在kerberos中配置datax

1.解壓官網下載的datax
2.將hadoop中的配置文件：core-site.xml hdfs-site.xml 和hive中的hive-site.xml這個三個文件放入到datax中的hdfswriter和hdfsreader中

基於Hadoop HA 在kerberos中配置datax

這裡有兩種方案：

在datax的配置文件中，添加如下內容，這裡添加的是hdfs的kerberos認證

"haveKerberos": true,
"kerberosKeytabFilePath": "/etc/security/keytab/hdfs.keytab",
"kerberosPrincipal": "hdfs/hadoop@EXAMPLE.COM"

1.在各节点创建hive用户，如已存在则跳过

[root@hadoop102 ~]# useradd hive -g hadoop
[root@hadoop102 ~]# echo hive | passwd --stdin hive

2.为hive用户创建Keberos主体
1）创建主体

[root@hadoop102 ~]# kadmin -padmin/admin -wNTVfPQY9kNs6  -q"addprinc -randkey hive"

2）生成keytab文件

[root@hadoop102 ~]# kadmin -padmin/admin -wNTVfPQY9kNs6  -q"xst -k /etc/security/keytab/hive.keytab hive"

3）修改keytab文件所有者和访问权限

[root@hadoop102 ~]# chown hive:hadoop /etc/security/keytab/hive.keytab
[root@hadoop102 ~]# chmod 440 /etc/security/keytab/hive.keytab

4）分发keytab文件

[root@hadoop102 ~]# xsync /etc/security/keytab/hive.keytab

5）修改datax每日同步脚本，在顶部增加如下认证语句

kinit -kt /etc/security/keytab/hive.keytab hive

推薦第二種方式，非常的簡便，也非常的好用文章来源地址https://www.toymoban.com/news/detail-501256.html

到了这里，关于基於Hadoop HA 在kerberos中配置datax的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！