1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址：
https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
2.解压文件到/soft目录下
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
3.创建软连接
创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
4.配置环境变量
编辑/etc/profile环境变量文件：
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
在文件末尾添加如下内容：
...
SPARK_HOME=/soft/spark
PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in
注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。
5.环境变量生效
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
6.进入Spark-shell命令行
p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz
以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz 2.解压文件到/soft目录下 $>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft 3.创建软连接 创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。 $>cd /soft $>ln -s spark-2.3.0-bin-hadoop2.7 spark 4.配置环境变量 编辑/etc/profile环境变量文件： $>sudo nano /etc/profile 在文件末尾添加如下内容： ... SPARK_HOME=/soft/spark PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in 注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。 5.环境变量生效 $>source /etc/profile 6.进入Spark-shell命令行 $>/soft/spark/spark-shell #进入scala命令提示符 $scala> 7.体验Spark-shell 因为Spark使用的scala语言，因此同Scala的使用完全一致。 $scala>1 + 1 #输出结果
#进入scala命令提示符
$scala>
7.体验Spark-shell
因为Spark使用的scala语言，因此同Scala的使用完全一致。
$scala>1 + 1
#输出结果
| 
电子发烧友论坛
0
/6 
工商网监
湘ICP备2023018690号
2705
淘帖
4
