一. 簡介
參考了網(wǎng)上許多教程，最終把hadoop在ubuntu14.04中安裝配置成功。下面就把詳細的安裝步驟敘述一下。我所使用的環(huán)境：兩臺ubuntu 14.04 64位的臺式機，hadoop選擇2.7.1版本。（前邊主要介紹單機版的配置，集群版是在單機版的基礎(chǔ)上，主要是配置文件有所不同，后邊會有詳細說明）
二. 準(zhǔn)備工作
2.1 創(chuàng)建用戶
創(chuàng)建用戶，并為其添加root權(quán)限，經(jīng)過親自驗證下面這種方法比較好。
sudo adduser hadoop sudo vim /etc/sudoers # 修改內(nèi)容如下： root ALL = (ALL)ALL hadoop ALL = (ALL)ALL
給hadoop用戶創(chuàng)建目錄，并添加到sudo用戶組中，命令如下：
sudo chown hadoop /home/hadoop # 添加到sudo用戶組 sudo adduser hadoop sudo
最后注銷當(dāng)前用戶，使用新創(chuàng)建的hadoop用戶登陸。
2.2 安裝ssh服務(wù)
ubuntu中默認是沒有裝ssh server的（只有ssh client），所以先運行以下命令安裝openssh-server。安裝過程輕松加愉快～
sudo apt-get install ssh openssh-server
2.3 配置ssh無密碼登陸
直接上代碼：執(zhí)行完下邊的代碼就可以直接登陸了（可以運行ssh localhost進行驗證）
cd ~/.ssh # 如果找不到這個文件夾，先執(zhí)行一下 "ssh localhost" ssh-keygen -t rsa cp id_rsa.pub authorized_keys
注意：
這里實現(xiàn)的是無密登陸自己，只適用與hadoop單機環(huán)境。如果配置Hadoop集群設(shè)置Master與Slave的SSH無密登陸可以參考我的另一篇博文：http://www.zmynmublwnt.cn/article/215858.html
三. 安裝過程
3.1 下載hadoop安裝包
有兩種下載方式：
1. 直接去官網(wǎng)下載：
http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
2. 使用wget命令下載：
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
3.2 配置hadoop
1. 解壓下載的hadoop安裝包，并修改配置文件。我的解壓目錄是（/home/hadoop/hadoop-2.7.1），即進入/home/hadoop/文件夾下執(zhí)行下面的解壓縮命令。
tar -zxvf hadoop-2.7.1.tar.gz
2. 修改配置文件：（hadoop2.7.1/etc/hadoop/）目錄下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml。
(1). core-site.xml 配置：其中的hadoop.tmp.dir的路徑可以根據(jù)自己的習(xí)慣進行設(shè)置。
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
(2). mapred-site.xml.template配置:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路徑可以自由設(shè)置，最好在hadoop.tmp.dir的目錄下面。
注意：如果運行Hadoop的時候發(fā)現(xiàn)找不到j(luò)dk，可以直接將jdk的路徑放置在hadoop-env.sh里面，具體如下：
export JAVA_HOME="/opt/java_file/jdk1.7.0_79"，即安裝java時的路徑。
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hadoop/tmp/dfs/data</value> </property> </configuration>
配置完成后運行hadoop。
四. 運行hadoop
4.1 初始化HDFS系統(tǒng)
在hadop2.7.1目錄下執(zhí)行命令：
bin/hdfs namenode -format
出現(xiàn)如下結(jié)果說明初始化成功。
4.2 開啟 NameNode 和 DataNode 守護進程
在hadop2.7.1目錄下執(zhí)行命令：
sbin/start-dfs.sh
成功的截圖如下：
4.3 使用jps命令查看進程信息：
若出現(xiàn)如圖所示結(jié)果，則說明DataNode和NameNode都已經(jīng)開啟。
4.4 查看web界面
在瀏覽器中輸入 http://localhost:50070 ，即可查看相關(guān)信息，截圖如下
至此，hadoop的環(huán)境就已經(jīng)搭建好了。
五. 運行wordcount demo
1. 在本地新建一個文件，里面內(nèi)容隨便填：例如我在home/hadoop目錄下新建了一個haha.txt文件，里面的內(nèi)容為" hello world! "。
2. 然后在分布式文件系統(tǒng)（hdfs）中新建一個test文件夾，用于上傳我們的測試文件haha.txt。在hadoop-2.7.1目錄下運行命令：
# 在hdfs的根目錄下建立了一個test目錄 bin/hdfs dfs -mkdir /test # 查看HDFS根目錄下的目錄結(jié)構(gòu) bin/hdfs dfs -ls /
結(jié)果如下：
3. 將本地haha.txt文件上傳到test目錄中；
# 上傳 bin/hdfs dfs -put /home/hadoop/haha.txt /test/ # 查看 bin/hdfs dfs -ls /test/
結(jié)果如下：
4. 運行wordcount demo；
# 將運行結(jié)果保存在/test/out目錄下 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/haha.txt /test/out # 查看/test/out目錄下的文件 bin/hdfs dfs -ls /test/out
結(jié)果如下：
運行結(jié)果表示：運行成功，結(jié)果保存在part-r-00000中。
5. 查看運行結(jié)果；
# 查看part-r-00000中的運行結(jié)果 bin/hadoop fs -cat /test/out/part-r-00000
結(jié)果如下：
至此，wordcount demo 運行結(jié)束。
六. 總結(jié)
配置過程遇到了很多問題，最后都一一解決，收獲很多，特此把這次配置的經(jīng)驗分享出來，方便想要配置hadoop環(huán)境的各位朋友～
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持服務(wù)器之家。
原文鏈接：http://www.cnblogs.com/lijingchn/p/5574476.html
