在網上找了很長時間都沒有找到使用docker搭建hadoop分布式集群的文檔，沒辦法，只能自己寫一個了。
一：環境準備：
1：首先要有一個centos7操作系統，可以在虛擬機中安裝。
2：在centos7中安裝docker，docker的版本為1.8.2
安裝步驟如下：
<1>安裝制定版本的docker
|
1
|
yum install -y docker-1.8.2-10.el7.centos |
<2>安裝的時候可能會報錯，需要刪除這個依賴
|
1
|
rpm -e lvm2-7:2.02.105-14.el7.x86_64 |
啟動docker
|
1
|
service docker start |
驗證安裝結果：
<3>啟動之后執行docker info會看到下面有兩行警告信息
需要關閉防火墻并重啟系統
|
1
2
3
4
|
systemctl stop firewalldsystemctl disable firewalld#注意：執行完上面的命令之后需要重啟系統reboot -h(重啟系統) |
<4>運行容器可能會報錯
需要關閉selinux
解決方法：
1：setenforce 0(立刻生效，不需要重啟操作系統)
2：修改/etc/selinux/config文件中的selinux=disabled ，然后重啟系統生效
建議兩個步驟都執行，這樣可以確保系統重啟之后selinux也是關閉狀態
3：需要先構建一個hadoop的基礎鏡像，使用dockerfile文件方式進行構建。
先構建一個具備ssh功能的鏡像，方便后期使用。（但是這樣對于容器的安全性會有影響）
注意：這個鏡像中的root用戶的密碼是root
|
1
2
3
|
mkdir centos-ssh-root cd centos-ssh-root vi dockerfile |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
# 選擇一個已有的os鏡像作為基礎 from centos # 鏡像的作者 maintainer crxy # 安裝openssh-server和sudo軟件包，并且將sshd的usepam參數設置成no run yum install -y openssh-server sudorun sed -i 's/usepam yes/usepam no/g' /etc/ssh/sshd_config#安裝openssh-clientsrun yum install -y openssh-clients# 添加測試用戶root，密碼root，并且將此用戶添加到sudoers里 run echo "root:root" | chpasswd run echo "root all=(all) all" >> /etc/sudoers# 下面這兩句比較特殊，在centos6上必須要有，否則創建出來的容器sshd不能登錄 run ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_keyrun ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key# 啟動sshd服務并且暴露22端口 run mkdir /var/run/sshdexpose 22 cmd ["/usr/sbin/sshd", "-d"] |
構建命令：
|
1
|
docker build -t=”crxy/centos-ssh-root” . |
查詢剛才構建成功的鏡像
4：基于這個鏡像再構建一個帶有jdk的鏡像
注意：jdk使用的是1.7版本的
|
1
2
3
4
|
mkdir centos-ssh-root-jdk cd centos-ssh-root-jdk cp ../jdk-7u75-linux-x64.tar.gz . vi dockerfile |
|
1
2
3
4
5
|
from crxy/centos-ssh-rootadd jdk-7u75-linux-x64.tar.gz /usr/local/run mv /usr/local/jdk1.7.0_75 /usr/local/jdk1.7env java_home /usr/local/jdk1.7env path $java_home/bin:$path |
構建命令：
|
1
|
docker build -t=”crxy/centos-ssh-root-jdk” . |
查詢構建成功的鏡像
5：基于這個jdk鏡像再構建一個帶有hadoop的鏡像
注意：hadoop使用的是2.4.1版本的。
|
1
2
3
4
|
mkdir centos-ssh-root-jdk-hadoop cd centos-ssh-root-jdk-hadoop cp ../hadoop-2.4.1.tar.gz . vi dockerfile |
|
1
2
3
4
5
|
from crxy/centos-ssh-root-jdkadd hadoop-2.4.1.tar.gz /usr/localrun mv /usr/local/hadoop-2.4.1 /usr/local/hadoopenv hadoop_home /usr/local/hadoopenv path $hadoop_home/bin:$path |
構建命令：
|
1
|
docker build -t=”crxy/centos-ssh-root-jdk-hadoop” . |
查詢構建成功的鏡像
二：搭建hadoop分布式集群
1：集群規劃
準備搭建一個具有三個節點的集群，一主兩從
主節點：hadoop0 ip：192.168.2.10
從節點1：hadoop1 ip：192.168.2.11
從節點2：hadoop2 ip：192.168.2.12
但是由于docker容器重新啟動之后ip會發生變化，所以需要我們給docker設置固定ip。使用pipework給docker容器設置固定ip
2：啟動三個容器，分別作為hadoop0 hadoop1 hadoop2
在宿主機上執行下面命令，給容器設置主機名和容器的名稱，并且在hadoop0中對外開放端口50070 和8088
|
1
2
3
4
5
|
docker run --name hadoop0 --hostname hadoop0 -d -p -p 50070:50070 -p 8088:8088 crxy/centos-ssh-root-jdk-hadoopdocker run --name hadoop1 --hostname hadoop1 -d -p crxy/centos-ssh-root-jdk-hadoopdocker run --name hadoop2 --hostname hadoop2 -d -p crxy/centos-ssh-root-jdk-hadoop |
使用docker ps 查看剛才啟動的是三個容器
3：給這三臺容器設置固定ip
1：下載pipework 下載地址：https://github.com/jpetazzo/pipework.git
2：把下載的zip包上傳到宿主機服務器上，解壓,改名字
|
1
2
3
|
unzip pipework-master.zipmv pipework-master pipeworkcp -rp pipework/pipework /usr/local/bin/ |
3：安裝bridge-utils
|
1
|
yum -y install bridge-utils |
4：創建網絡
|
1
2
3
|
brctl addbr br0ip link set dev br0 upip addr add 192.168.2.1/24 dev br0 |
5：給容器設置固定ip
|
1
2
3
|
pipework br0 hadoop0 192.168.2.10/24pipework br0 hadoop1 192.168.2.11/24pipework br0 hadoop2 192.168.2.12/24 |
驗證一下，分別ping三個ip，能ping通就說明沒問題
4：配置hadoop集群
先連接到hadoop0上， 使用命令
|
1
|
docker exec -it hadoop0 /bin/bash |
下面的步驟就是hadoop集群的配置過程
1：設置主機名與ip的映射，修改三臺容器：vi /etc/hosts
添加下面配置
|
1
2
3
|
192.168.2.10 hadoop0192.168.2.11 hadoop1192.168.2.12 hadoop2 |
2：設置ssh免密碼登錄
在hadoop0上執行下面操作
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
cd ~mkdir .sshcd .sshssh-keygen -t rsa(一直按回車即可)ssh-copy-id -i localhostssh-copy-id -i hadoop0ssh-copy-id -i hadoop1ssh-copy-id -i hadoop2在hadoop1上執行下面操作cd ~cd .sshssh-keygen -t rsa(一直按回車即可)ssh-copy-id -i localhostssh-copy-id -i hadoop1在hadoop2上執行下面操作cd ~cd .sshssh-keygen -t rsa(一直按回車即可)ssh-copy-id -i localhostssh-copy-id -i hadoop2 |
3：在hadoop0上修改hadoop的配置文件
進入到/usr/local/hadoop/etc/hadoop目錄
修改目錄下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
(1)hadoop-env.sh
|
1
|
export java_home=/usr/local/jdk1.7 |
(2)core-site.xml
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
<configuration> <property> <name>fs.defaultfs</name> <value>hdfs://hadoop0:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property></configuration> |
(3)hdfs-site.xml
|
1
2
3
4
5
6
7
8
9
10
|
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property></configuration> |
(4)yarn-site.xml
|
1
2
3
4
5
6
7
8
9
10
|
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property></configuration> |
(5)修改文件名：mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
|
1
2
3
4
5
6
|
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration> |
(6)格式化
進入到/usr/local/hadoop目錄下
1、執行格式化命令
|
1
|
bin/hdfs namenode -format |
注意：在執行的時候會報錯，是因為缺少which命令，安裝即可
執行下面命令安裝
|
1
|
yum install -y which |
看到下面命令說明格式化成功。
格式化操作不能重復執行。如果一定要重復格式化，帶參數-force即可。
(7)啟動偽分布hadoop
命令：
|
1
|
sbin/start-all.sh |
第一次啟動的過程中需要輸入yes確認一下。
使用jps，檢查進程是否正常啟動？能看到下面幾個進程表示偽分布啟動成功
|
1
2
3
4
5
6
7
|
[root@hadoop0 hadoop]# jps3267 secondarynamenode3003 namenode3664 jps3397 resourcemanager3090 datanode3487 nodemanager |
(8)停止偽分布hadoop
命令：
|
1
|
sbin/stop-all.sh |
(9)指定nodemanager的地址，修改文件yarn-site.xml
|
1
2
3
4
5
|
<property> <description>the hostname of the rm.</description> <name>yarn.resourcemanager.hostname</name> <value>hadoop0</value> </property> |
(10)修改hadoop0中hadoop的一個配置文件etc/hadoop/slaves
刪除原來的所有內容，修改為如下
|
1
2
|
hadoop1hadoop2 |
(11)在hadoop0中執行命令
|
1
2
|
scp -rq /usr/local/hadoop hadoop1:/usr/localscp -rq /usr/local/hadoop hadoop2:/usr/local |
(12)啟動hadoop分布式集群服務
執行sbin/start-all.sh
注意：在執行的時候會報錯，是因為兩個從節點缺少which命令，安裝即可
分別在兩個從節點執行下面命令安裝
|
1
|
yum install -y which |
再啟動集群(如果集群已啟動，需要先停止)
|
1
|
sbin/start-all.sh |
(13)驗證集群是否正常
首先查看進程：
hadoop0上需要有這幾個進程
|
1
2
3
4
5
|
[root@hadoop0 hadoop]# jps4643 jps4073 namenode4216 secondarynamenode4381 resourcemanager |
hadoop1上需要有這幾個進程
|
1
2
3
4
|
[root@hadoop1 hadoop]# jps715 nodemanager849 jps645 datanode |
hadoop2上需要有這幾個進程
|
1
2
3
4
|
[root@hadoop2 hadoop]# jps456 nodemanager589 jps388 datanode |
使用程序驗證集群服務
創建一個本地文件
|
1
2
3
|
vi a.txthello youhello me |
上傳a.txt到hdfs上
|
1
|
hdfs dfs -put a.txt / |
執行wordcount程序
|
1
2
|
cd /usr/local/hadoop/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /a.txt /out |
查看程序執行結果
這樣就說明集群正常了。
通過瀏覽器訪問集群的服務
由于在啟動hadoop0這個容器的時候把50070和8088映射到宿主機的對應端口上了
adb9eba7142b crxy/centos-ssh-root-jdk-hadoop "/usr/sbin/sshd -d" about an hour ago up about an hour 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:32770->22/tcp hadoop0
所以在這可以直接通過宿主機訪問容器中hadoop集群的服務
宿主機的ip為：192.168.1.144
http://192.168.1.144:50070/
http://192.168.1.144:8088/
三：集群節點重啟
停止三個容器，在宿主機上執行下面命令
|
1
2
3
|
docker stop hadoop0docker stop hadoop1docker stop hadoop2 |
容器停止之后，之前設置的固定ip也會消失，重新再使用這幾個容器的時候還需要重新設置固定ip
先把之前停止的三個容器起來
|
1
2
3
|
docker start hadoop0docker start hadoop1docker start hadoop2 |
在宿主機上執行下面命令重新給容器設置固定ip
|
1
2
3
|
pipework br0 hadoop0 192.168.2.10/24pipework br0 hadoop1 192.168.2.11/24pipework br0 hadoop2 192.168.2.12/24 |
還需要重新在容器中配置主機名和ip的映射關系，每次都手工寫比較麻煩
寫一個腳本，runhosts.sh
|
1
2
3
4
|
#!/bin/bashecho 192.168.2.10 hadoop0 >> /etc/hostsecho 192.168.2.11 hadoop1 >> /etc/hostsecho 192.168.2.12 hadoop2 >> /etc/hosts |
添加執行權限，
|
1
|
chmod +x runhosts.sh |
把這個腳本拷貝到所有節點，并且分別執行這個腳本
|
1
2
|
scp runhosts.sh hadoop1:~scp runhosts.sh hadoop2:~ |
執行腳本的命令
|
1
|
./runhosts.sh |
查看/etc/hosts文件中是否添加成功
注意：有一些docker版本中不會在hosts文件中自動生成下面這些映射，所以我們才在這里手工給容器設置固定ip，并設置主機名和ip的映射關系。
172.17.0.25 hadoop0
172.17.0.25 hadoop0.bridge
172.17.0.26 hadoop1
172.17.0.26 hadoop1.bridge
172.17.0.27 hadoop2
172.17.0.27 hadoop2.bridge
啟動hadoop集群
|
1
|
sbin/start-all.sh |
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。
原文鏈接：http://blog.csdn.net/xu470438000/article/details/50512442
