Azkaban 3.X 安装

关注

VIP免费原创最新推荐文章于 2025-10-26 14:21:22 发布 1.1w 阅读 AI 写同款· GEO 优化 ›

Azkaban4.0.0分布式安装部署随着大数据开发的普及以及人们对工作流管理器的需求,Azkaban也受到了越来越多的开发者的使用，因此Azkaban 的版本也在持续更新，本文将使用Akaban 4.0.0讲解Azkabar的部署和使用。在Azkaban 3.X版本之后，Azkaban 提供了两种部模式，分别是 solo-server mode(独立服务器模式)和distributed multiple-executor mode(分布式多服务器模式)。阅读详情

Azkaban 3.0+ 安装

本次安装azkaban的版本3.20.0-5,相对版本2.5有部分变化，此次安装 two-server模式

In version 3.0 we provide three modes: the stand alone “solo-server” mode, the heavier weight two server mode and distributed multiple-executor mode. The following describes the differences between the two modes.

三种模式

solo-server模式：exec进程和web进程为同一个进程，存放元数据的数据库为H2

two-server模式：与之前的单机版本类似，exec进程和web进程分开，存放元数据的数据库为mysql

multiple-executor模式：exec进程和web进程在不同的机器上，存放元数据的数据库为mysql

安装准备

Azkaban官网: https://azkaban.github.io
软件下载地址: https://github.com/azkaban/azkaban
官方插件地址: https://github.com/azkaban/azkaban-plugins
官方文档地址: http://azkaban.github.io/azkaban/docs/latest

安装过程

1 下载。git clone https://github.com/azkaban/azkaban.git
得到文件夹azkaban/

2 编译。执行命令 cd azkaban ，在该目录下执行
./gradlew installDist 生成一系列文件。

3 拷贝。另新建目录 mkdir azkaban-3.20.0，执行 cp azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-3.20.0-5-g28fc94e7.tar.gz azkaban-3.20.0
cp azkaban/azkaban-web-server/build/distributions/azkaban-web-server-3.20.0-5-g28fc94e7.tar.gz azkaban-3.20.0
cp azkaban/azkaban-sql/build/distributions/azkaban-sql-3.20.0-5-g28fc94e7.tar.gz azkaban-3.20.0
cd azkaban-3.20.0
tar -zvxf azkaban-exec-server-3.20.0-5-g28fc94e7.tar.gz
tar -zvxf azkaban-web-server-3.20.0-5-g28fc94e7.tar.gz
tar -zvxf azkaban-sql-3.20.0-5-g28fc94e7.tar.gz

4 创建 azkaban 元数据库。在Mysql数据库中创建元数据。同时从外部导入mysql jar包到 azkaban-exec-server-3.0.0/extlib/ 和 azkaban-web-server-3.0.0/extlib/

    1) 以 root 用户登录mysql
    2) CREATE DATABASE azkaban;
    3 CREATE USER

最低0.47元/天解锁文章

标签

#azkaban安装

工作流调度器Azkaban的基本架构、运行模式、安装部署和使用案例详解目录一、准备工作二、Azkaban介绍 1. 为什么需要工作流调度系统 2. Azkaban介绍三、Azkaban的基本架构四、Azkaban的三种运行模式五、Azkaban的安装部署 1. Azkaban的编译 2. Azkaban两个服务模式安装六、Azkaban使用场景案例 1. Command类型单一job示例 2. Command类型多job工作流flow 3. HDFS操作任务 4. MAPREDUCE任务 5. HIVE脚本任务 6. Azkaban 阅读详情