Ubuntu18.04 + docker + hadoop + spark 搭建分布式集群

物料說(shuō)明

  • 宿主機(jī) ubuntu 18.04
  • docker
  • jdk 1.8.0_211
  • hadoop 3.2
  • spark 2.4.3

約定

  • 操作的路徑為/home/bigdata/

step 0 安裝docker容器

# 刪除可能有的舊版本
sudo apt-get remove docker docker-engine docker.io containerd runc
# 更新apt
sudo apt-get update
# 讓apt支持https
sudo apt-get install apt-transport-https  ca-certificates  curl  gnupg-agent  software-properties-common
# 安裝官方GPG密鑰
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
// 阿里云
// curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
// sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 安裝docker-ce
sudo apt-get update
sudo apt-get install docker-ce
sudo apt-get install docker-ce-cli
sudo apt-get install containerd.io

附：卸載docker

# 卸載docker
sudo apt-get purge docker-ce
sudo rm -rf /var/lib/docker

附：docker的常用命令

# 重啟docker服務(wù) 
sudo service docker restart
# 關(guān)閉docker服務(wù) 
sudo service docker stop
# 開啟docker服務(wù)
sudo service docker start

# 拉取ubuntu 18.04鏡像
sudo docker pull ubuntu:18.04
# docker create 命令為指定的鏡像（image）添加了一個(gè)可讀寫層，構(gòu)成了一個(gè)新的容器。注意，這個(gè)容器并沒有運(yùn)行。 
sudo docker create <image-id>
# docker run = docker create + docker start
sudo docker run  -p 宿主機(jī)端口:docker端口 <image-id> 
# 后臺(tái)運(yùn)行
sudo docker run -dit <image-id>
# 運(yùn)行直接進(jìn)入bash，退出后后臺(tái)不運(yùn)行
sudo docker run -it <image-id> /bin/bash 
# 查看本地鏡像
sudo docker images
# 刪除鏡像
sudo docker rmi <image-id>

# docker start命令為容器文件系統(tǒng)創(chuàng)建了一個(gè)進(jìn)程隔離空間。注意，每一個(gè)容器只能夠有一個(gè)進(jìn)程隔離空間。 
docker start <container-id>
# 查看當(dāng)前運(yùn)行的容器
docker ps
# 查詢存在的容器
docker ps -a
# 刪除容器
docker rm  <container-id>
# 強(qiáng)制刪除容器
docker rm -f  <container-id>
# 不能夠刪除一個(gè)正在運(yùn)行的容器，會(huì)報(bào)錯(cuò)。需要先停止容器。
# 進(jìn)入容器內(nèi)部
sudo docker exec -it (container name or id) /bin/bash
# 退出容器
exit
# 容器重命名
docker container rename <container-id> newname

# 提交
docker commit <container-id> <image-name>

Step 1 在docker中拉取ubuntu 18.04鏡像并創(chuàng)建容器

# 拉取ubuntu 18.04鏡像
sudo docker pull ubuntu:18.04
# 查找拉取的鏡像id
sudo docker images
# 啟動(dòng)一個(gè)master容器
sudo docker run -dit -h master <image-id>
# 查找創(chuàng)建的容器id
sudo docker ps
# 進(jìn)入容器
sudo docker exec -it <container-id> /bin/bash

為了后續(xù)方便，創(chuàng)建容器的時(shí)候一并把端口也綁定了

sudo docker run -dit -h master -p 9870:9870 -p 8080:8080 -p 4040:4040 -p 8088:8088 -p 8099:8099 <image-id>

step 2 配置master容器

基本配置

# 更新apt
apt-get update
apt-get pagrade
# 安裝net-tools
apt-get install net-tools
# 安裝nano或vim
apt-get install nano
apt-get install vim
# 安裝ssh，配置無(wú)密碼登錄
apt-get install openssh-server
ssh-keygen -t rsa -P ''
回車
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 查詢是否開啟ssh
/etc/init.d/ssh status
# 開啟ssh
/etc/init.d/ssh start
# 配置開機(jī)啟動(dòng)
nano /etc/rc.local
# 在exit 0語(yǔ)句前加入
/etc/init.d/ssh start

安裝java

# 下載java https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
# 解壓
tar -zxvf <file_name>
# 重命名
mv <dir_name> jdk1.8
# 修改環(huán)境變量
nano ~/.bashrc
# 添加以下代碼
# java
export JAVA_HOME=/home/bigdata/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
# 生效
source ~/.bashrc

安裝hadoop

# 安裝hadoop
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
# 解壓
tar -zxvf hadoop-3.2.0.tar.gz
# 重命名
mv  hadoop-3.2.0 hadoop
# 添加環(huán)境變量
sudo nano ~/.bashrc
# 添加以下代碼
# hadoop
export HADOOP_HOME=/home/bigdata/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 生效
sudo source ~/.bashrc

配置分布式hadoop

# 當(dāng)前路徑為/home/bigdata/hadoop/
# 創(chuàng)建三個(gè)文件夾備用
mkdir -p hdfs/{data,name,tmp}

修改各項(xiàng)配置文件

cd /home/bigdata/hadoop/etc/hadoop

修改hadoop-env.sh

# 只改這一行
export JAVA_HOME=/home/bigdata/jdk1.8

修改core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/hdfs/tmp</value>
        </property>        
</configuration>

修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hadoop/hdfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

創(chuàng)建并編輯masters文件

touch masters
nano masters
# 添加
master

創(chuàng)建并編輯slaves 文件

touch slaves 
nano slaves 
# 添加
master
slave01
slave02

格式化hdfs

cd /home/bigdata/hadoop/bin
# 該命令只需運(yùn)行一次
hdfs namenode -format

修改運(yùn)行文件

cd /home/bigdata/hadoop/sbin
# 在start-dfs.sh，stop-dfs.sh文件頂部加入以下配置
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 在start-yarn.sh，stop-yarn.sh文件頂部加入以下配置
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

安裝Scala

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
tar -zxvf scala-2.11.8.tgz
mv scala-2.11.8 scala
# 添加環(huán)境變量
sudo nano ~/.bashrc
# 添加以下代碼
# scala
export SCALA_HOME=/home/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin
# 生效
source ~/.bashrc

安裝spark

wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
mv spark-2.4.3-bin-hadoop2.7 spark

# 添加環(huán)境變量
sudo nano ~/.bashrc
# 添加以下代碼
# spark
export SPARK_HOME=/home/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin
# 生效
source ~/.bashrc

修改配置文件

cd /home/bigdata/spark/conf
cp spark-env.sh.template spark-env.sh
# 添加以下代碼
export JAVA_HOME=/home/bigdata/jdk1.8
export HADOOP_HOME=/home/bigdata/hadoop
export HADOOP_CONF_DIR=/home/bigdata/hadoop/etc/hadoop
export SCALA_HOME=/home/bigdata/scala
export SPARK_HOME=/home/bigdata/spark
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

cp slaves.template slaves
# 添加以下代碼
master
slave01
slave02

step 3 提交master并克隆出slaves

# 退出容器
exit
# 提交容器更改
sudo docker commit <container-id> ubuntu-hadoop-spark:1.0
# 用剛剛提交的ubuntu-hadoop-spark:1.0創(chuàng)建兩個(gè)slave
sudo docker run -dit -h slave01 <image-id>
sudo docker run -dit -h slave02 <image-id>
# 運(yùn)行兩個(gè)slave
sudo docker exec -it slave01 /bin/bash
sudo docker exec -it slave02 /bin/bash

step 4 hosts配置

分別進(jìn)入master、slave01和slave02，用ifconfig命令找出相應(yīng)的ip，并分別修改hosts文件

nano /etc/hosts
# 添加
xxx.xxx.xxx.xx1   master 
xxx.xxx.xxx.xx2   slave01
xxx.xxx.xxx.xx3   slave02

step 5 啟動(dòng)

分別進(jìn)入三個(gè)容器，啟動(dòng)命令相同

# 啟動(dòng)hadoop
cd /home/bigdata/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
# 啟動(dòng)spark
cd /home/bigdata/spark/sbin
./start-all/sh

啟動(dòng)后可分別用jps檢查啟動(dòng)情況

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。