使用Eclipse连接hadoop,编译运行Map/Reduce
环境:
ubuntu18.04(双系统)
hadoop3.2.1(伪分布式)
eclipse(jee-2020-06)
要在eclipse上编译运行MapReduce程序,需要安装hadoop-eclipse-plugin,可下载Github上的hadoop2x-eclipse-plugin
下载后,将release中的hadoop-eclipse-kepler-plugin-2.6.0.jar复制到eclipse安装目录下的plugins(如果不行,试试dropins)文件夹中。eclipse重启之后,正常情况下,会在左侧的Project Explorer中出现DFS Location。
但是我的却没有出现,上网搜索以为是eclipse版本问题,换了几个版本还是不行,最后看到说要用eclipse JEE版本。
下载eclipse JEE版本之后,仍然没有出现DFS Location,上网搜索,有的说打开工作目录或perspective,虽然对我没有用:
window->show view ->project Explorer;
window->perspective->open pespective->other->Map/Reduce;
出现了以下正常情况:
eclipse右上角

eclipse下方

但是仍然没有出现DFS Location,上网搜索数小时,仍然无果。
于是尝试没有DFS Location进行创建项目,配置好hadoop接口:
window->preference->Hadoop Map/Reduce
hadoop
并创建new Hadoop Location,配置好参数:
 hadooop Location
在左侧project explorer创建Map/Reduce项目,创建之后,新项目Demo和DFS Location一起出现了!!!
project explorer

至此,折腾了一天的DFS Location丢失案告一段落,就无语。
DFS Location和Demo一起出现,可以知道它就在project explorer中,但始终不出现,通过之前的打开project explorer也不行,估计是eclipse的一个bug。
最终,创建了新的Map/Reduce项目,就出现了。也许先不配置参数,直接创建Map/Reduce项目,DFS Location也可以出现。希望这个对大家有点帮助

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐