Archive

Posts Tagged ‘TaskTracker’

深入Hadoop大數據分析:初探網絡環境與設定

February 25th, 2017 No comments

深入 Hadoop 大數據分析:初探網絡環境與設定

上回介紹了 Hadoop 每個不同部份所負責的功能後,那麼接下來我們將會開始帶大家探討一下當中的網絡環境與設定。

深入 Hadoop 大數據分析:初探網絡環境與設定

今次主要以 VMware Workstation 12.1.0 安裝和設定 Hadoop 叢集。在如圖 1 所示網絡設定為 NAT,全部虛擬機都連接 VMware 的內部網絡,各虛擬機都必須使用固定 IP 地址,以防止 IP 地址轉變令 Hadoop 叢集連接不到 NameNode。至於操作系統方面,本次將會使用 CentOS 7 Minimal 版本。原因是 Minimal 是最純正的 CentOS 7 版本,其中只包含 CentOS 7 的核心套件,使用者可根據自身需求安裝對應的軟體包,減少軟體間發生不兼容的情況,因此容量是最小的,系統運行時所佔的 RAM 也是最小。

CentOS 對比起另一 Linux 發行版—- Ubuntu 較小出現因為帳號權限問題所發生的錯誤。為了更清楚顯示 Hadoop 的安裝和設定過程,今次會使用三台虛擬機,分別為一台 NameNode (Master Server) 和兩台 DataNode, TaskTracker (Slave Server),其他硬件設定可查看以下表格:

NameNode DataNode, TaskTracker 1 DataNode, TaskTracker 2
系統 CentOS 7 Minimal CentOS 7 Minimal CentOS 7 Minimal
主機名稱 Master Slave1 Slave2
IP 192.168.93.40/24 192.168.93.41/24 192.168.93.42/24
vCPU 1 Core 1 Core 1 Core
vRAM 2 GB 2 GB 2 GB
硬盤 20 GB 20 GB 20 GB

CentOS 7 Minimal 安裝小提示

如下圖 2 所示,在 VMware 安裝 CentOS 7 的時候,KDUMP 若為自動開始有機會出錯,建議手動開啟。繼續如下圖 3 所示,為加快其後 Hadoop 設定過程,使用者可以在安裝介面 NETWORK&HOSTNAME 一欄中預先設定主機名稱,當然也可以在完成安裝後修改 /etc/hostname。

深入 Hadoop 大數據分析:初探網絡環境與設定
圖 2 手動開啟 KDUMP

深入 Hadoop 大數據分析:初探網絡環境與設定
圖 3 預先設定主機名稱

待續…

以上資訊由www.hkitblog.com提供