可能的错误1

报错格式:

对比命令

sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","

再对比我上传至hdfs中的文件data.txt中的内容,发现其中的逗号为中文状态下,改为英文状态再重新进行数据迁移即可

可能的错误2

观察命令

sqoop export \
--connect jdbc:mysql://master:3306/social \
--username root \
--password admin \
--table person \
--num-mappers 1 \
--export-dir /user/data.txt \
--input-fields-terminated-by ","

可能是在输入时在每行的最后命令与‘\’之间未加空格,导致语法格式错误

可能的错误3

若在使用Sqoop从Hive表中导入MySQL进行数据迁移时报如下错误:

在MySQL中查看表中数据发现只迁移成功了一部分:

进入8042端口分别查看任务日志和master的resourcemanager日志发现:

因为MySQL表中已有一部分数据,并且日志中报错的信息属于任务失败和Java IOException类型,分析可得可能是因为Hive表中的数据属性类型和MySQL中的数据属性类型并不一致而造成,退出Hive,修改MySQL表中数据属性类型与Hive一致,重新使用Sqoop进行数据迁移,成功。

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐