大数据单机学习环境搭建(11)Azkaban单机部署
azkaban-solo-server单机部署一.Azkaban的介绍文档二.下载1.1Azkaban下载1.2依赖下载三.安装2.1Azkaban解压安装2.2配置文件2.3编译一.Azkaban的介绍文档1.Azkaban介绍文档:在 3.0 版本之后,提供了两种模式:独立的“solo-server”模式和分布式多执行器模式。2.文档中提供的克隆git clone https://github
专题:大数据单机学习环境搭建和使用
大数据单机学习环境搭建(11)Azkaban单机部署
欢迎白嫖 azkaban-solo-server.tar.gz
azkaban-solo-server免费下载
百度网盘个人分享资源
下载后直接跳到文章 第四部分 安装即可直接使用。
一.Azkaban的介绍文档
Azkaban介绍文档:在 3.0 版本之后,提供了两种模式:独立的“solo-server”模式和分布式多执行器模式。
1.1安装包创建的“劝退”步骤
文档中提供的克隆git clone https://github.com/azkaban/azkaban.git
和 编译./gradlew build installDist
下载会非常慢,容易中断,属于劝退方式,所以通常是本地先下载,再编译创建安装包。
1.2安装包的使用
通过 ./gradlew build installDist
命令创建后生成azkaban-solo-server
的tar.gz
文件,如azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
。这个安装包解压在其他机器可直接使用。即下方二、三的操作做一次便可生成该压缩文件,压缩文件解压到任何机器都可以直接使用。
按照下方二、三操作之后,azkaban-solo-server 文件生成在/opt/azkaban/azkaban-solo-server/build/distributions
路径下,拷贝到任意机器,执行四的操作便启动了azkaban,web端访问 http://nod1:8081/(nod1改成自己机器的ip)即可进行azkaban的使用。
二.下载
2.1Azkaban下载
Azkaban官网下载 页面下拉找到不同版本下载即可
2.2依赖下载
这一步建议在 3.1Azkaban解压安装 之后进行,否则可能不知所云
gradle下载,依赖的下载建议参考/opt/azkaban/gradle/wrapper
的gradle-wrapper.properties
文件distributionUrl
的设置,例如我的使用的3.81.0文件配置如下
所以下载的gradle-4.6-all.zip
,具体使用见安装步骤
三.安装
3.1Azkaban解压
1.上传tar.gz
到文件/opt
目录下,之后的所有操作都会在该目录下进行
2.执行解压操作
tar -zxvf azkaban-3.81.0.tar.gz
3.重命名(个人习惯),结果如下
mv azkaban-3.81.0 azkaban
3.2配置文件
将 2.2 下载的依赖 放在/opt/azkaban/gradle/wrapper
文件夹内,并修改该文件夹下gradle-wrapper.properties
的distributionUrl
参数
3.3创建安装包
如果 3.2的操作,将使用网址下载gradle-4.6-all.zip过程很慢且容易中断
配置了3.2下方过程仍有大量下载非常耗时,不报错就一直等,大约1小时
1.进入azkaban目录下
cd /opt/azkaban
2.执行创建命令等待即可,-x test表示跳过测试
./gradlew build installDist -x test
异常情况处理:多为网络不通畅造成
wget 'https://repo.maven.apache.org/maven2/org/scala-lang/scala-compiler/2.10.0/scala-compiler-2.10.0.jar'
测试可以下载,并无异常。重新执行一次./gradlew build installDist -x test
编译正常进行。
再次运行10分钟后成功BUILD SUCCESSFUL
至此,azkaban-solo-server
安装包已创建完成,在/opt/azkaban/azkaban-solo-server/build/distributions
路径下。
四.开启使用
1.复制 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz到 /opt 目录下
cp /opt/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /opt
2.进入文件存放路径
cd /opt
3.解压 azkaban-solo-server 安装文件
tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
改名为 azkaban-solo-server
mv azkaban-solo-server-0.1.0-SNAPSHOT azkaban-solo-server
4.进入azkaban-solo-server 路径
cd azkaban-solo-server/
5.开启azkaban,jps
查看是否开启
bin/start-solo.sh
6.打开连接即可使用 azkabanhttp://node1:8081/
(将node1改为自己的ip即可)
声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,如有雷同纯属巧合。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)