在腾讯云环境下,dolphinscheduler调度sqoop脚本从mysql写数据到hive表报unKnowHostException和NullPointerException异常处理
在腾讯云环境下,dolphinscheduler海豚调度sqoop脚本可以正常从mysql消费数据到hive表中,但是DS的状态却显示为失败。看DS的运行日志,出现了空指针异常,获取应该的状态失败。查看DS的worker日志,发现DS每次是去连接host:8088获取应用的状态,而腾讯云的httpaddress端口为5004。解决方法:1、在DS的conf中的common.properties配置
在腾讯云环境下,dolphinscheduler海豚调度sqoop脚本可以正常从mysql消费数据到hive表中,但是DS的状态却显示为失败。
看DS的运行日志,出现了空指针异常,获取应该的状态失败。
查看DS的worker日志,发现DS每次是去连接host:8088获取应用的状态,而腾讯云的httpaddress端口为5004。
解决方法:
1、在DS的conf中的common.properties配置文件中加入配置resource.manager.httpaddress.port=5004
2、将每个节点的DS的conf中common.properties配置文件中的这个配置的端口改成5004
如果修改完配置后,是通过DS自带的一键部署脚本install.sh来重新部署,需要修改install.sh脚本中的配置:
因为使用这个脚本重新部署的时候,这个参数会覆盖在common.properties中的配置。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)