使用Sqoop进行数据迁移时报错:Export job failed!
报错格式:对比命令再对比我上传至hdfs中的文件data.txt中的内容,发现其中的逗号为中文状态下,改为英文状态再重新进行数据迁移即可。
·
可能的错误1
报错格式:
对比命令
sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","
再对比我上传至hdfs中的文件data.txt中的内容,发现其中的逗号为中文状态下,改为英文状态再重新进行数据迁移即可
可能的错误2
观察命令
sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","
可能是在输入时在每行的最后命令与‘\’之间未加空格,导致语法格式错误
可能的错误3
若在使用Sqoop从Hive表中导入MySQL进行数据迁移时报如下错误:
在MySQL中查看表中数据发现只迁移成功了一部分:
进入8042端口分别查看任务日志和master的resourcemanager日志发现:
因为MySQL表中已有一部分数据,并且日志中报错的信息属于任务失败和Java IOException类型,分析可得可能是因为Hive表中的数据属性类型和MySQL中的数据属性类型并不一致而造成,退出Hive,修改MySQL表中数据属性类型与Hive一致,重新使用Sqoop进行数据迁移,成功。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献2条内容
所有评论(0)