【Dolphinscheduler3.1.1】二次开发本地启动项目(前端+后端)

这篇具有很好参考价值的文章主要介绍了【Dolphinscheduler3.1.1】二次开发本地启动项目(前端+后端)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景说明

由于业务的定制化开发,需要对Dolphinscheduler进行二次开发,现将项目的启动步骤记录如下。

一、 基础软件安装(必装项请自行安装)

  • Maven: v3.5+,配阿里云仓库地址即可

  • Node: v16.+

  • MySQL (5.7系列) : 两者任选其一即可

  • JDK (1.8+) : 必装

  • ZooKeeper (3.7.1) :必装

ZooKeeper安装步骤如下
  1. 官网下载压缩包并解压到D:\Program Files (x86)\zookeeper-3.4.12

  2. 在D:\Program Files (x86)\zookeeper-3.4.12目录下新建data和log文件夹
    dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

  3. 复制conf目录下zoo_sample.cfg文件到同目录下,重命名为zoo.cfg(Zookeeper 在启动时会找这个文件作为默认配置文件)
    dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

修改zoo.cfg中的 dataDir 和 dataLogDir 的配置项为上面新建目录的路径

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

  1. 启动测试一下
  • 服务端启动

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

  • 启动客户端连接一下,成功

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

二、下载源码到本地

源码地址:https://github.com/apache/dolphinscheduler.git

三、切换到指定分支,例如 3.1.1-xxx

四、切换到 dolphinscheduler-ui 目录

修改镜像源,推荐使用淘宝源,可以使用cnpm下载依赖

npm install -g cnpm --registry=https://registry.npmmirror.com/

安装前端依赖并运行前端组件

cd dolphinscheduler-ui
cnpm install
cnpm run dev

Dolphinscheduler-ui 模块中的代码结构如下:
dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端
目录说明如下:
- node_modules是依赖包
- Public是根目录
- Src是文件项
- Assets是放置静态文件,如图片
- Components是放置封装的组件文件
- Layouts是放置整体页面ui布局的文件
- Locales是放置中英双语的配置的文件
- Router是放置Dolphinschedulerui的路由文件
- Service是放置后端接口文件
- Store是放置Pinia状态管理的文件
- Themes是放置项目的深色和浅色状态时的颜色信息文件,分为dark和light
- Utils是放置封装js方法的文件
- Views是放置项目代码文件
- app.tsx是配置整体框架页面
- Main.ts是配置项目公共方法,方便全局使用

五、跳过测试编译

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端
dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端
dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

六、执行数据库脚本

– 执行脚本前,创建数据库

CREATE DATABASE dolphinscheduler;
dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

七、修改ds数据源配置文件

  1. 如果使用 MySQL 作为元数据库,需要先修改 dolphinscheduler/pom.xml,将 mysql-connector-java 依赖的 scope 改为 compile

  2. 修改 Master 数据库配置,修改 dolphinscheduler-master/src/main/resources/application.yaml 文件中的数据库配置

  3. 修改 Worker 数据库配置,修改 dolphinscheduler-worker/src/main/resources/application.yaml 文件中的数据库配置

  4. 修改 Api 数据库配置,修改 dolphinscheduler-api/src/main/resources/application.yaml 文件中的数据库配置

    dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

八、修改zk配置

修改application.yml中zk的连接地址,如果这里采用windows本地安装zk的方式则不用修改,否则需要修改为对应的zk地址。

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

九、修改日志级别

修改日志级别:为以下配置增加一行内容 使日志能在命令行中显示
dolphinscheduler-master/src/main/resources/logback-spring.xml
dolphinscheduler-worker/src/main/resources/logback-spring.xml dolphinscheduler-api/src/main/resources/logback-spring.xml
添加内容如下:

<appender-ref ref="STDOUT"/>

修改后内容如下:

dolphinscheduler start all 前端如何启动,Dolphinscheduler,springboot,云原生,前端

十、启动服务

需要启动三个服务,包括 MasterServer,WorkerServer,ApiApplicationServer

4.1 MasterServer,同理启动WorkerServer,ApiApplicationServer
执行 org.apache.dolphinscheduler.server.master.MasterServer 中的 main 方法,并配置VM Options

-Dlogging.config=classpath:logback-spring.xml -Ddruid.mysql.usePingMethod=false -Dspring.profiles.active=mysql

注:VM Options -Dspring.profiles.active=mysql 中 mysql 表示指定的配置文件

启动时报如下错误:

Error running 'MasterServer': Command line is too long. Shorten command line for MasterServer or also for Spring Boot default configuration

解决办法:在项目的.idea/workspace.xml文件中,找到,后面在添加一行

<property name="dynamic.classpath" value="true" />

4.2 验证
启动完成可以浏览 Open API 文档,地址为 http://localhost:12345/dolphinscheduler/swagger-ui/index.html

十二、打包命令

前端打包命令

cd dolphinscheduler-ui
cnpm run build:prod

后端打包命令文章来源地址https://www.toymoban.com/news/detail-811713.html

mvn clean package -Prelease -Dmaven.test.skip=true

到了这里,关于【Dolphinscheduler3.1.1】二次开发本地启动项目(前端+后端)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 海豚调度 DolphinScheduler(2.x和3.x版本) 本地环境搭建,方便本地调式代码

    💡 本系列文章是 DolphinScheduler 由浅入深的教程,涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 祝开卷有益。 大数据学习指南 DolphinScheduler 的开源版本有不少的 BUG,所以在公司生产使用的话,需要做二

    2024年02月11日
    浏览(37)
  • 阿里低代码引擎使用 - 项目启动 & 本地物料开发

    最近开始折腾低代码平台,用了阿里的低代码框架。整体体验还行,但是坑也不少,特别是物料描述这一块,官方文档虽然不少内容,但是一些小东西还是缺了不少。所以想把整个过程记录下来分享给大家。 我打算是利用这个引擎做一个比较全面的定制化改造的,目前进度推

    2024年02月04日
    浏览(35)
  • 开源分布式任务调度系统DolphinScheduler本地部署与远程访问

    本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问,结合内网穿透工具实现公网访问DolphinScheduler内网并进行远程办公,帮助开发人员进行远程任务调度及管理,提高工作效率。 DolphinScheduler是一款开源的分布式任务调度系统,它可以帮助开发人员更加方

    2024年02月03日
    浏览(41)
  • 如何本地搭建开源分布式任务调度系统DolphinScheduler并远程访问

    本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问,结合内网穿透工具实现公网访问DolphinScheduler内网并进行远程办公,帮助开发人员进行远程任务调度及管理,提高工作效率。 DolphinScheduler是一款开源的分布式任务调度系统,它可以帮助开发人员更加方

    2024年02月05日
    浏览(39)
  • 作业帮基于 DolphinScheduler 的数据开发平台实践

    摘要 随着任务数量、任务类型需求不断增长,对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到 Apache DolphinScheduler 的实践经验,以及对数据开发平台的一些思考。 首先介绍下我们的大数据平台架构: 数据计算层承接了全公司的数据开发需求,负

    2024年02月03日
    浏览(27)
  • 1.1 Windows驱动开发:配置驱动开发环境

    在进行驱动开发之前,您需要先安装适当的开发环境和工具。首先,您需要安装Windows驱动开发工具包(WDK),这是一组驱动开发所需的工具、库、示例和文档。然后,您需要安装Visual Studio开发环境,以便编写和调试驱动程序。在安装WDK和Visual Studio之后,您还需要配置适当的

    2024年02月03日
    浏览(34)
  • 基于SPI的插件式开发实现方案之@AutoService+ServiceLoader介绍及Dolphinscheduler中的实际应用

    插件化开发模式正在很多编程语言或技术框架中得以广泛的应用实践,比如大家熟悉的jenkins,docker可视化管理平台rancher,以及日常编码使用的编辑器idea,vscode等。 实现服务模块之间解耦的方式有很多,但是插件来说,其解耦的程度似乎更高,而且更灵活,可定制化、个性化

    2024年02月02日
    浏览(30)
  • 《网络爬虫开发实战》学习笔记:1.1 HTTP基本原理

    1.1.1 URI和URL ​ URI ,全称Uniform Resource Identifier,即 统一资源标志符 ; URL ,全称Uniform Resource Locator,即 统一资源定位符 。 ​ 举例来说,https://github.com/favicon.ico既是一个URI,也是一个URL。即有favicon.ico这样一个图标资源,用这样一个URI/URL指定了访问它的唯一方式,其中包括

    2024年02月03日
    浏览(35)
  • 利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库(一)云上云下数据同步方案设计

    在数据驱动的世界中,企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器

    2024年04月25日
    浏览(27)
  • 日均调度 10W+ 任务实例,DolphinScheduler 在蔚来汽车一站式数据治理开发平台的应用改造

    大家好我是张金明,在蔚来汽车担任大数据平台研发工程师。这次和大家分享的是 Apache DolphinScheduler 在蔚来汽车一站式数据治理开发平台的应用和改造,接下来我将从背景、应用现状和技术改造三个方面去分享一下。 在蔚来汽车构建一个统一的数据中台之前,我们面临这样

    2024年02月11日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包