SPARK安装三：SPARK集群部署-白红宇

SPARK安装三：SPARK集群部署

阅读量：5119 次

发布时间：2019-06-13

本文共 1649 字，大约阅读时间需要 5 分钟。

使用2.3.0版本，因为公司生产环境是这个版本

一、下载安装

cd /optwget https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgztar -xzvf spark-2.3.0-bin-hadoop2.7.tgzrm -rf spark-2.3.0-bin-hadoop2.7.tgz

二、配置文件

spark相对于hadoop配置文件和配置项目都比较少，但是spark有5中运行模式，每种模式对应的配置和情况都不一样所以spark的重点是深入了解spark的5中运行模式

配置文件在$SPARK_HOME/conf下，需要配置3个文件

1.spark-env.sh

cp spark-env.sh.template spark-env.shvi spark-env.sh

编辑

export JAVA_HOME=/opt/jdk1.8.0_181export HADOOP_CONF_DIR=/opt/hadoop-2.7.6/etc/hadoopexport YARN_CONF_DIR=/opt/hadoop-2.7.6/etc/hadoopexport SPARK_HOME=/opt/spark-2.3.0-bin-hadoop2.7export SPARK_MASTER_HOST=pangu10export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://pangu10:9000/spark/log"

View Code

2.slaves

cp slaves.template slavesvi slaves

编辑

pangu10pangu11pangu12

View Code

说明：如果是yarn模式，hadoop配置了slaves文件之后，spark就不需要配置了

3、spark-defaults.conf

HistoryServer用来查看SPARK运行时的计算过程

cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf

编辑

spark.master spark://pangu10:7077spark.eventLog.enabled truespark.eventLog.dir hdfs://pangu10:9000/spark/logspark.history.fs.logDirectory hdfs://pangu10:9000/spark/log

View Code

创建spark日志目录

hadoop fs -mkdir /sparkhadoop fs -mkdir /spark/log

四、环境变量

设置/etc/profile

export JAVA_HOME=/opt/jdk1.8.0_181export SCALA_HOME=/opt/scala-2.12.6export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/opt/hadoop-2.7.6export SPARK_HOME=/opt/spark-2.3.0-bin-hadoop2.7export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin

转载于:https://www.cnblogs.com/Netsharp/p/9781155.html

你可能感兴趣的文章

浅谈 unix, linux, ios, android 区别和联系

查看>>

51nod 1428 活动安排问题 (贪心+优先队列)

查看>>

中国烧鹅系列：利用烧鹅自动执行SD卡上的自定义程序（含视频）

查看>>

Solaris11修改主机名

查看>>

latex for wordpress(一)

查看>>