• 大數據教程（五） Hadoop集群MYSQL的安裝

前言

前面我們主要分析了搭建所需要準備的內容和一些提前規劃好的項，本篇我們主要來分析如何安裝CentOS操作系統，以及一些基礎的設置，閑言少敘，我們進入本篇的正題。

技術準備

VMware虛擬機、CentOS 6.8 64 bit

安裝流程

因為我的筆記本是Window7操作系統，然后內存配置，只有8G，內存配置太低了，當然為了演示，我會將中的主節點分配2GB內存，然后剩余的三個節點都是1GB配置。

所有的節點存儲我都設置為50GB。

在安裝操作系統之前，我們需要提前規劃好操作系統的分區如何設置，我們知道，在Linux系統中，它的磁盤分區并不同于Windows系統，它是通過目錄掛載的方式進行分區，簡單點說的話就是將不同的系統內置目錄進行分配到不同的邏輯分區中，然后我們在進行存儲的時候只需要根據目錄進行存放就可以了。

上面的這種分區方式是和Windows操作系統有區別的，當然在Linux操作系統中還存在磁盤格式的不同，比如一般常見的格式為：ext2，ext3，ext4等，我們當前最常用的就是ext3，關于每種格式的不同點和應用場景大家有興趣的可以網上查閱，這里不再贅述。

那么我們來分析一下Linux系統中最常見的幾種目錄分區方式

• /boot 系統引導目錄，用來存放與Linux系統啟動相關的程序，比如啟動引導裝載程序等。建議大小200MB。
• /usr  存放系統中安裝的應用程序，一般的數據都比較多，所以建議大于3GB。
• /var  用來存放Linux系統中經常變化的數據以及日志文件，建議大于1GB。
• /home 存放普通用戶的數據，是普通用戶的宿主目錄，一般一個用戶就會創建一個home目錄，建議大小為剩下的空間。
• /  為Linux系統的根目錄，所有的目錄都掛在到這個目錄下面，建議大小為大于5GB以上。
• /tmp 臨時文件存放的地方，一般需要獨立的分區，這樣可以避免系統被塞滿后系統的穩定性。建議大小為500MB以上。
• swap  這個是虛擬內存，一般建議為物理內存的1——2倍。

以上為我基于我們的50GB的存儲空間做的一個規劃，如果生產或者物理機大家可以根據需要成比例遞增。

下面，咱們進去CentOS操作系統的詳細安裝過程。

1、首先需要在VMWare中創建一個新的計算機，然后指定CentOS的鏡像路徑和用戶名和密碼。

2、指定當前虛擬機操作系統的存儲大小和內存大小。

3、點擊完成VMware就進入了系統自動安裝的過程中，然后等待完成安裝就可以。

4、至此，我們已經成功的安裝上了CentOS操作系統，然后安裝的過程中順便創建了一個新用戶Hadoop，這個賬戶就是我們后面安裝Hadoop集群環境所使用的賬號。

5、我們登陸到CentOS操作系統，然后進入系統的首先要做的事情就是：改計算機名！改計算機名！改計算機名！。

打開終端輸入界面，然后根據角色更改當前計算機的名稱。打開終端的方式是在右鍵——>Open In Terminal

• 輸入su命令，切換至root超級用戶，然后利用vim 命令編輯/etc/sysconfig/network文件。

• 然后編輯文件中的HOSTNAME，設置為我們提前規劃好的Master.Hadoop

• 然后保存該文件，重啟計算機。

• 重啟計算機，查看設置是否生效。

至此，你的計算機名稱更改完畢！

6、在修改完成計算機名之后，我們需要做的就是設置固定IP,然后配置Host文件。

當然，這里有幾個知識點需要跟大家講解一下，就是關于網絡的配置，其實在VMware虛擬機中存在幾種網絡模式：

其實，這里最常用的就是第二種模式：NAT模式（N）:用于共享主機的IP地址，但是，這里我需要跟大家講解的是，其實在我們的生產環境中，每一臺虛擬機都是需要獨立配置IP的，為了最大限度的避免因為宿主機的網絡帶來的問題，在Hadoop集群中我們選擇第一種模式：橋接模式（B）:直接連接物理網絡。啥意思呢？意思就是很簡單，雖然你現在用的是虛擬機，但是把它當成物理機一樣，也給插上網線，連接到本地的網絡中去。

當然，如果選擇這種方式的前提是要保證你的局域網的網段和之前咱們規劃的IP是一致的，必須都是192.168.1.* 這種網段，這樣的目的很簡單就是宿主機和我們的虛擬機能夠直接通信，那就意味這主機能聯網，我們的虛擬機就能聯網。

然后，我們進入我們的虛擬機進行固定IP的設置。

我們利用界面進行設置，畢竟這種方式比較簡單易操作：

然后，根據我們之前的系統規劃，將我們的IP設置上，這里有一個選項一定要勾選上：Available to all users.我之前搭建集群的時候就因為這一個選擇折騰了我一天的時間！！這都是坑哈…記住了！！！勾上！！

然后，就是驗證我們當前虛擬機是否能上網，IP是否能成功配置。

然后，確保能上網，畢竟咱們需要下載很多安裝包。

應該明白上面我輸入的含義吧、這貨是最常用的命令。

最后一定要記得修改我們的hosts文件，當然了在生產集群中一般都會有自己的DNS服務器，但是這里我們條件有限，就手動的配置下Host文件得了。

切換至root超級管理員賬戶，然后修改host文件，執行以下命令：

vim /etc/hosts

保存文件，然后重啟一下服務器。至此，關于服務器的網絡我們已經配置完成了。

7、上面我們完成了CentOS的基礎配置，確保了計算機能夠聯網，下面我們就需要下載Hadoop安裝包，然后進入Hadoop集群的搭建工作。

首先，我們需要下載安裝Hadoop集群環境中需要的Jdk包，因為Java編寫的嘛，然后下載Hadoop安裝包，所以我們切換到CentOS的Downloads目錄下：

cd /home/hadoop/Downloads

然后，下載我們所需要的安裝包，到這個目錄下：

cd /home/hadoop/Downloads/

我們找到相關的版本的java JDK和Hadoop版本包，這里我們選擇Hadoop 最新的安裝包，記住下載安裝包的時候一定要上Hadoop官網上下載，能避免很多不必要的麻煩。

CentOS中下載腳本如下：

wget //www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

wget //download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

tar -zxvf jdk-8u101-linux-x64.tar.gz

mkdir /usr/java

chown hadoop:hadoop /usr/java/

vim /etc/profile

# set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

[root@Master Downloads]# cp -r jdk1.8.0_73 /usr/java/
[root@Master Downloads]# java -version

--解壓Hadoop安裝包
tar -zxvf hadoop-2.6.4.tar.gz 
--/usr目錄下，創建hadoop目錄
mkdir /usr/hadoop
--拷貝解壓后的hadoop安裝包
cp -r hadoop-2.6.4 /usr/hadoop
--賦權給Hadoop用戶
chown hadoop:hadoop /usr/hadoop/

cd /usr/hadoop/hadoop-2.6.4/

vim etc/hadoop/core-site.xml

<configuration>
<!-- HDFS file path -->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.1.50:9000</value>
 </property>

 <property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>

 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/tmp</value>
 <description>Abasefor other temporary directories.</description>
 </property>
 <property>
</configuration>

mkdir tmp

vim etc/hadoop/hdfs-site.xml

<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.1.50:9001</value>
 </property>

 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/dfs/name</value>
 </property>

 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/dfs/data</value>
 </property>

 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>

 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property>

mkdir dfs
mkdir dfs/name
mkdir dfs/data

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>192.168.1.50:10020</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>192.168.1.50:19888</value>
 </property>
</configuration>

vim etc/hadoop/yarn-site.xml

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
 <name>yarn.resourcemanager.address</name>
 <value>192.168.1.50:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>192.168.1.50:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>192.168.1.50:8035</value>
 </property>
 <property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>192.168.1.50:8033</value>
 </property>
 <property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>192.168.1.50:8088</value>
 </property>

 export JAVA_HOME=/usr/java/jdk1.8.0_73

vim etc/hadoop/hadoop-env.sh

chown -R hadoop:hadoop /usr/hadoop/hadoop-2.6.4/

bin/hadoop namenode -format

 sbin/start-dfs.sh

bin/hadoop dfsadmin -report

sbin/start-yarn.sh