Apache DolphinScheduler的资源中心开启HDFS功能-Toy模板网

这篇具有很好参考价值的文章主要介绍了Apache DolphinScheduler的资源中心开启HDFS功能。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 资源中心介绍

资源中心通常用于上传文件、UDF函数。可以选择上传到Hadoop集群

2. 开启背景

DolphinScheduler的资源中心默认是不能往HDFS上传文件的，需要我们配置进行开启

3. 修改配置文件conf/common.properties

resource.storage.type=HDFS

# 在HDFS根目录能创建目录的用户
hdfs.root.user=root

# 如果是高可用HA HDFS，需要将core-site.xml和hdfs-site.xml复制到dolphinscheduler-2.0.5-install/conf目录下
fs.defaultFS=hdfs://bigdata001:9000

注意：如果Hadoop集群的NameNode配置了HA的话，需要将Hadoop集群下的core-site.xml和hdfs-site.xml复制到dolphinscheduler/conf目录下

4. 重启

重启DolphinScheduler所有服务

5. 上传文件到HDFS

需要先创建租户，如下所示

Apache DolphinScheduler的资源中心开启HDFS功能

创建文件夹
Apache DolphinScheduler的资源中心开启HDFS功能
这里会报【租户不存在】的错误。原因是admin用户的租户ID默认是0，和新创建的租户root没有关联上，需要将admin用户的租户ID修改成租户root的ID。在mysql数据库的操作如下

mysql> select * from t_ds_tenant limit 3;
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
| id | tenant_code | description                             | queue_id | create_time         | update_time         |
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
| 16 | root        | Centos服务器上的操作系统用户            |        1 | 2022-06-07 16:46:39 | 2022-06-07 16:46:39 |
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
1 row in set (0.00 sec)

mysql> select * from t_ds_user limit 3;
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
| id | user_name | user_password                    | user_type | email      | phone | tenant_id | create_time         | update_time         | queue | state |
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
|  1 | admin     | 7ad2410b2f4c074479a8937a28a22b8f |         0 | xxx@qq.com |       |         0 | 2018-03-27 15:48:50 | 2018-10-24 17:40:22 | NULL  |     1 |
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
1 row in set (0.00 sec)

mysql> update t_ds_user set tenant_id = 16 where id = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql>

再次创建文件夹就成功了文章来源地址https://www.toymoban.com/news/detail-408877.html

到了这里，关于Apache DolphinScheduler的资源中心开启HDFS功能的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！