大数据单机学习环境搭建(11)Azkaban单机部署

欢迎白嫖 azkaban-solo-server.tar.gz

azkaban-solo-server免费下载
百度网盘个人分享资源
下载后直接跳到文章 第四部分 安装即可直接使用。

一.Azkaban的介绍文档

Azkaban介绍文档:在 3.0 版本之后,提供了两种模式:独立的“solo-server”模式和分布式多执行器模式。

1.1安装包创建的“劝退”步骤

文档中提供的克隆git clone https://github.com/azkaban/azkaban.git和 编译./gradlew build installDist 下载会非常慢,容易中断,属于劝退方式,所以通常是本地先下载,再编译创建安装包。
在这里插入图片描述

1.2安装包的使用

通过 ./gradlew build installDist 命令创建后生成azkaban-solo-servertar.gz文件,如azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz这个安装包解压在其他机器可直接使用。即下方二、三的操作做一次便可生成该压缩文件,压缩文件解压到任何机器都可以直接使用
按照下方二、三操作之后,azkaban-solo-server 文件生成在/opt/azkaban/azkaban-solo-server/build/distributions路径下,拷贝到任意机器,执行四的操作便启动了azkaban,web端访问 http://nod1:8081/(nod1改成自己机器的ip)即可进行azkaban的使用。

二.下载

2.1Azkaban下载

Azkaban官网下载 页面下拉找到不同版本下载即可
在这里插入图片描述

2.2依赖下载

这一步建议在 3.1Azkaban解压安装 之后进行,否则可能不知所云
gradle下载,依赖的下载建议参考/opt/azkaban/gradle/wrappergradle-wrapper.properties文件distributionUrl的设置,例如我的使用的3.81.0文件配置如下
在这里插入图片描述所以下载的gradle-4.6-all.zip,具体使用见安装步骤
在这里插入图片描述

三.安装

3.1Azkaban解压

1.上传tar.gz到文件/opt目录下,之后的所有操作都会在该目录下进行
2.执行解压操作
tar -zxvf azkaban-3.81.0.tar.gz
3.重命名(个人习惯),结果如下
mv azkaban-3.81.0 azkaban
在这里插入图片描述

3.2配置文件

将 2.2 下载的依赖 放在/opt/azkaban/gradle/wrapper文件夹内,并修改该文件夹下gradle-wrapper.propertiesdistributionUrl参数
在这里插入图片描述

3.3创建安装包

如果 3.2的操作,将使用网址下载gradle-4.6-all.zip过程很慢且容易中断
在这里插入图片描述
配置了3.2下方过程仍有大量下载非常耗时,不报错就一直等,大约1小时
1.进入azkaban目录下
cd /opt/azkaban
2.执行创建命令等待即可,-x test表示跳过测试
./gradlew build installDist -x test

异常情况处理:多为网络不通畅造成
在这里插入图片描述
wget 'https://repo.maven.apache.org/maven2/org/scala-lang/scala-compiler/2.10.0/scala-compiler-2.10.0.jar' 测试可以下载,并无异常。重新执行一次./gradlew build installDist -x test编译正常进行。
再次运行10分钟后成功BUILD SUCCESSFUL
在这里插入图片描述
至此,azkaban-solo-server安装包已创建完成,在/opt/azkaban/azkaban-solo-server/build/distributions路径下。

四.开启使用

1.复制 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz到 /opt 目录下
cp /opt/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /opt
2.进入文件存放路径
cd /opt
3.解压 azkaban-solo-server 安装文件
tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
改名为 azkaban-solo-server
mv azkaban-solo-server-0.1.0-SNAPSHOT azkaban-solo-server
在这里插入图片描述
4.进入azkaban-solo-server 路径
cd azkaban-solo-server/
5.开启azkaban,jps查看是否开启
bin/start-solo.sh
在这里插入图片描述

6.打开连接即可使用 azkabanhttp://node1:8081/(将node1改为自己的ip即可)
在这里插入图片描述


声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,如有雷同纯属巧合。

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐