Spark入门及安装与配置

1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

4.配置环境变量

编辑/etc/profile环境变量文件：

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

6.进入Spark-shell命令行

p style="box-sizing: border-box; outline: 0px; margin-bottom: 16px; font-size: 16px; color: rgb(79, 79, 79); line-height: 26px; text-align: justify; word-break: break-all; font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif, SimHei, SimSun; background-color: rgb(255, 255, 255);">1.下载spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

2.解压文件到/soft目录下

$>tar -xzvf spark-2.3.0-bin-hadoop2.7.tgz -C /soft

3.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便。

$>cd /soft

$>ln -s spark-2.3.0-bin-hadoop2.7 spark

4.配置环境变量

编辑/etc/profile环境变量文件：

$>sudo nano /etc/profile

在文件末尾添加如下内容：

...

SPARK_HOME=/soft/spark

PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/***in

注意：将Spark的bin目录和***in目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

5.环境变量生效

$>source /etc/profile

6.进入Spark-shell命令行

$>/soft/spark/spark-shell

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果

#进入scala命令提示符

$scala>

7.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1

#输出结果