*注
在搭建spark环境时需要配置好JDK

直接在http://spark.apache.org/downloads.html下载spark
这里写图片描述
添加spark环境变量
D:\spark-2.2.0-bin-hadoop2.7\bin

新建hadoop文件,在hadoop文件下新建bin目录
https://github.com/steveloughran/winutils 选择你对应的hadoop版本号,下载到bin目录下

添加hadoop环境变量
D:\hadoop\bin
建立一个系统环境变量HADOOP_HOME
将D:\hadoop添加进去

修改winutils权限
%HADOOP_HOME%\bin\winutils.exe chmod 777 \tmp\hive

在 cmd中输入spark-shell
若出现
Spark context available as sc.
Spark session available as spark
则环境配置成功
这里写图片描述

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐