spark sql 任务失败------Container killed on request. Exit code is 137
问题spark sql 执行多表join,executor 退出，报错Container killed on request. Exit code is 137。问题分析137错误是内存OOM的报错，对于这种情况应该增加executor的内存，或者减少executor的task并发数。解决1、增加driver 或者 executor的内存编辑 spark-defaults.conf 配置spark
·
问题
spark sql 执行多表join,executor 退出，报错Container killed on request. Exit code is 137。
问题分析
137错误是内存OOM的报错，对于这种情况应该增加executor的内存，或者减少executor的task并发数。
解决
1、增加driver 或者 executor的内存
编辑 spark-defaults.conf 配置
spark.executor.memory 10g
spark.driver.memory 10g
或者
spark-submit --executor-memory 10g --driver-memory 10g …
2、减少executor的核数
编辑spark-defaults.conf配置
spark.executor.cores 1
或者
spark-submit --executor-cores 1 …
开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)