插件名称:hadoop2x-eclipse-plugin
插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin

 
 1.下载并解压hadoop2.x,下载地址http://hadoop.apache.org/releases.html#Download(我下载的是编译好的包)
 2.下载并解压eclipse(我的是4.4.1版本,其他的版本类似)
 3.下载hadoop2x-eclipse-plugin插件并解压自己喜欢的目录,为了方便表达,我暂时叫他"H2EP_HOME"
 4.插件编译需要ant工具,下载地址http://ant.apache.org/bindownload.cgi
    配置好ANT_HOME环境变量,指向ant解压地址,配置PATH环境变量,增加%ANT_HOME%\bin(linux环境类似)
 5.打开命令行工具,进入“H2EP_HOME”目录;
 6.执行ant jar -Dversion=2.x.x -Dhadoop.version=2.x.x -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoop
   eclipse.home配置成eclipse安装目录
   hadoop.home配置成hadoop的解压目录
   将2.x.x修改成对应的hadoop的版本号
   
 7.命令行在ivy-resolve-common处卡了
   原因是找不到几个依赖包,那几个依赖包可能是换路径了,其实不需要这几个依赖包也可以
   解决方案:
   修改"H2EP_HOME"\src\contrib\eclipse-plugin\build.xml
   找到:

Xml代码   收藏代码
  1. <target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">  

    去掉depends修改为

Xml代码   收藏代码
  1. <target name="compile" unless="skip.contrib">  

 8.再次执行第6步的编译命令,会提示copy不到相关jar包的错误,
    解决方案:
    修改"H2EP_HOME"\ivy\libraries.properties文件,
    将报错的jar包版本号跟换成与"HADOOP_HOME"\share\hadoop\common\lib下面jar对应的版本号
    此步可能会有多个jar包版本不匹配,需要多次修改
 9.再次执行第6步的编译命令,执行成功
    在"H2EP_HOME"\build\contrib\eclipse-plugin下生成hadoop-eclipse-plugin-2.x.x.jar插件
 10.将hadoop-eclipse-plugin-2.x.x.jar放到eclipse的plugins目录下,启动eclipse
 11.打开window===>prefernces,找到Hadoop Map/Reduce选项卡
  配置hadoop installation directory目录,指向hadoop的安装目录
 12.打开window====>show view====>other,找到Map/Reduce Locations,使其显示
 13.在Map/Reduce Locations中右键=====>new hadoop locations,
  此时没反应,查看eclipse日志(工作空间\.metadata\.log),发现报错:

Java代码   收藏代码
  1. java.lang.ClassNotFoundException: org.apache.commons.collections.map.UnmodifiableMap    

  解决方案:
  修改"H2EP_HOME"\src\contrib\eclipse-plugin\build.xml
  增加:

Java代码   收藏代码
  1. <copy file="${hadoop.home}/share/hadoop/common/lib/commons-collections-${commons-collections.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  

   <jar>标签增加

Xml代码   收藏代码
  1. lib/commons-collections-${commons-collections.version}.jar,  

 14.执行 eclipse.exe -clean(清理一下缓存,不然有可能还是出现13步的问题)启动eclipse


 完整的build.xml如下("H2EP_HOME"\src\contrib\eclipse-plugin\build.xml)

Xml代码   收藏代码
  1. <?xml version="1.0" encoding="UTF-8" standalone="no"?>  
  2.   
  3. <!--  
  4.    Licensed to the Apache Software Foundation (ASF) under one or more  
  5.    contributor license agreements.  See the NOTICE file distributed with  
  6.    this work for additional information regarding copyright ownership.  
  7.    The ASF licenses this file to You under the Apache License, Version 2.0  
  8.    (the "License"); you may not use this file except in compliance with  
  9.    the License.  You may obtain a copy of the License at  
  10.   
  11.        http://www.apache.org/licenses/LICENSE-2.0  
  12.   
  13.    Unless required by applicable law or agreed to in writing, software  
  14.    distributed under the License is distributed on an "AS IS" BASIS,  
  15.    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.  
  16.    See the License for the specific language governing permissions and  
  17.    limitations under the License.  
  18. -->  
  19.   
  20. <project default="jar" name="eclipse-plugin">  
  21.   
  22.   <import file="../build-contrib.xml"/>  
  23.   
  24.   <path id="eclipse-sdk-jars">  
  25.     <fileset dir="${eclipse.home}/plugins/">  
  26.       <include name="org.eclipse.ui*.jar"/>  
  27.       <include name="org.eclipse.jdt*.jar"/>  
  28.       <include name="org.eclipse.core*.jar"/>  
  29.       <include name="org.eclipse.equinox*.jar"/>  
  30.       <include name="org.eclipse.debug*.jar"/>  
  31.       <include name="org.eclipse.osgi*.jar"/>  
  32.       <include name="org.eclipse.swt*.jar"/>  
  33.       <include name="org.eclipse.jface*.jar"/>  
  34.   
  35.       <include name="org.eclipse.team.cvs.ssh2*.jar"/>  
  36.       <include name="com.jcraft.jsch*.jar"/>  
  37.     </fileset>   
  38.   </path>  
  39.   
  40.   <path id="hadoop-sdk-jars">  
  41.     <fileset dir="${hadoop.home}/share/hadoop/mapreduce">  
  42.       <include name="hadoop*.jar"/>  
  43.     </fileset>   
  44.     <fileset dir="${hadoop.home}/share/hadoop/hdfs">  
  45.       <include name="hadoop*.jar"/>  
  46.     </fileset>   
  47.     <fileset dir="${hadoop.home}/share/hadoop/common">  
  48.       <include name="hadoop*.jar"/>  
  49.     </fileset>   
  50.   </path>  
  51.   
  52.   
  53.   
  54.   <!-- Override classpath to include Eclipse SDK jars -->  
  55.   <path id="classpath">  
  56.     <pathelement location="${build.classes}"/>  
  57.     <!--pathelement location="${hadoop.root}/build/classes"/-->  
  58.     <path refid="eclipse-sdk-jars"/>  
  59.     <path refid="hadoop-sdk-jars"/>  
  60.   </path>  
  61.   
  62.   <!-- Skip building if eclipse.home is unset. -->  
  63.   <target name="check-contrib" unless="eclipse.home">  
  64.     <property name="skip.contrib" value="yes"/>  
  65.     <echo message="eclipse.home unset: skipping eclipse plugin"/>  
  66.   </target>  
  67.   
  68.  <!--<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">-->  
  69.  <!-- 此处去掉 depends="init, ivy-retrieve-common" -->  
  70.  <target name="compile"  unless="skip.contrib">  
  71.     <echo message="contrib: ${name}"/>  
  72.     <javac  
  73.      encoding="${build.encoding}"  
  74.      srcdir="${src.dir}"  
  75.      includes="**/*.java"  
  76.      destdir="${build.classes}"  
  77.      debug="${javac.debug}"  
  78.      deprecation="${javac.deprecation}">  
  79.      <classpath refid="classpath"/>  
  80.     </javac>  
  81.   </target>  
  82.   
  83.   <!-- Override jar target to specify manifest -->  
  84.   <target name="jar" depends="compile" unless="skip.contrib">  
  85.     <mkdir dir="${build.dir}/lib"/>  
  86.     <copy  todir="${build.dir}/lib/" verbose="true">  
  87.           <fileset dir="${hadoop.home}/share/hadoop/mapreduce">  
  88.            <include name="hadoop*.jar"/>  
  89.           </fileset>  
  90.     </copy>  
  91.     <copy  todir="${build.dir}/lib/" verbose="true">  
  92.           <fileset dir="${hadoop.home}/share/hadoop/common">  
  93.            <include name="hadoop*.jar"/>  
  94.           </fileset>  
  95.     </copy>  
  96.     <copy  todir="${build.dir}/lib/" verbose="true">  
  97.           <fileset dir="${hadoop.home}/share/hadoop/hdfs">  
  98.            <include name="hadoop*.jar"/>  
  99.           </fileset>  
  100.     </copy>  
  101.     <copy  todir="${build.dir}/lib/" verbose="true">  
  102.           <fileset dir="${hadoop.home}/share/hadoop/yarn">  
  103.            <include name="hadoop*.jar"/>  
  104.           </fileset>  
  105.     </copy>  
  106.   
  107.     <copy  todir="${build.dir}/classes" verbose="true">  
  108.           <fileset dir="${root}/src/java">  
  109.            <include name="*.xml"/>  
  110.           </fileset>  
  111.     </copy>  
  112.   
  113.   
  114.   
  115.     <copy file="${hadoop.home}/share/hadoop/common/lib/protobuf-java-${protobuf.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  116.     <copy file="${hadoop.home}/share/hadoop/common/lib/log4j-${log4j.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  117.     <copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  118.     <copy file="${hadoop.home}/share/hadoop/common/lib/commons-configuration-${commons-configuration.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  119.     <copy file="${hadoop.home}/share/hadoop/common/lib/commons-lang-${commons-lang.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  120.     <!-- 此处增加 commons-collections 依赖-->  
  121.     <copy file="${hadoop.home}/share/hadoop/common/lib/commons-collections-${commons-collections.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  122.     <copy file="${hadoop.home}/share/hadoop/common/lib/jackson-core-asl-${jackson.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  123.     <copy file="${hadoop.home}/share/hadoop/common/lib/jackson-mapper-asl-${jackson.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  124.     <copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-log4j12-${slf4j-log4j12.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  125.     <copy file="${hadoop.home}/share/hadoop/common/lib/slf4j-api-${slf4j-api.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  126.     <copy file="${hadoop.home}/share/hadoop/common/lib/guava-${guava.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  127.     <copy file="${hadoop.home}/share/hadoop/common/lib/hadoop-auth-${hadoop.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  128.     <copy file="${hadoop.home}/share/hadoop/common/lib/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  129.     <copy file="${hadoop.home}/share/hadoop/common/lib/netty-${netty.version}.jar"  todir="${build.dir}/lib" verbose="true"/>  
  130.   
  131.     <jar  
  132.       jarfile="${build.dir}/hadoop-${name}-${version}.jar"  
  133.       manifest="${root}/META-INF/MANIFEST.MF">  
  134.       <manifest>  
  135.      <attribute name="Bundle-ClassPath"   
  136.         value="classes/,   
  137.  lib/hadoop-mapreduce-client-core-${hadoop.version}.jar,  
  138.  lib/hadoop-mapreduce-client-common-${hadoop.version}.jar,  
  139.  lib/hadoop-mapreduce-client-jobclient-${hadoop.version}.jar,  
  140.  lib/hadoop-auth-${hadoop.version}.jar,  
  141.  lib/hadoop-common-${hadoop.version}.jar,  
  142.  lib/hadoop-hdfs-${hadoop.version}.jar,  
  143.  lib/protobuf-java-${protobuf.version}.jar,  
  144.  lib/log4j-${log4j.version}.jar,  
  145.  lib/commons-cli-1.2.jar,  
  146.  lib/commons-configuration-1.6.jar,  
  147.  lib/commons-httpclient-3.1.jar,  
  148.  <!-- 此处修改commons-lang版本-->  
  149.  lib/commons-lang-${commons-lang.version}.jar,  
  150.  <!-- 此处增加commons-collections依赖-->  
  151.  lib/commons-collections-${commons-collections.version}.jar,  
  152.  lib/jackson-core-asl-1.8.8.jar,  
  153.  lib/jackson-mapper-asl-1.8.8.jar,  
  154.  lib/slf4j-log4j12-1.7.5.jar,  
  155.  lib/slf4j-api-1.7.5.jar,  
  156.  lib/guava-${guava.version}.jar,  
  157.  lib/netty-${netty.version}.jar"/>  
  158.      </manifest>  
  159.       <fileset dir="${build.dir}" includes="classes/ lib/"/>  
  160.       <!--fileset dir="${build.dir}" includes="*.xml"/-->  
  161.       <fileset dir="${root}" includes="resources/ plugin.xml"/>  
  162.     </jar>  
  163.   </target>  
  164.   
  165. </project>  

 

参考链接:

http://aub.iteye.com/blog/2162155

https://blog.csdn.net/antgan/article/details/52068161

http://doc.okbase.net/congcong68/archive/119982.html

   
Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐