CommuniLink 聯通國際網絡

深入 Hadoop 大數據分析：初探網絡環境與設定

上回介紹了 Hadoop 每個不同部份所負責的功能後，那麼接下來我們將會開始帶大家探討一下當中的網絡環境與設定。

今次主要以 VMware Workstation 12.1.0 安裝和設定 Hadoop 叢集。在如圖 1 所示網絡設定為 NAT，全部虛擬機都連接 VMware 的內部網絡，各虛擬機都必須使用固定 IP 地址，以防止 IP 地址轉變令 Hadoop 叢集連接不到 NameNode。至於操作系統方面，本次將會使用 CentOS 7 Minimal 版本。原因是 Minimal 是最純正的 CentOS 7 版本，其中只包含 CentOS 7 的核心套件，使用者可根據自身需求安裝對應的軟體包，減少軟體間發生不兼容的情況，因此容量是最小的，系統運行時所佔的 RAM 也是最小。

CentOS 對比起另一 Linux 發行版—- Ubuntu 較小出現因為帳號權限問題所發生的錯誤。為了更清楚顯示 Hadoop 的安裝和設定過程，今次會使用三台虛擬機，分別為一台 NameNode (Master Server) 和兩台 DataNode, TaskTracker (Slave Server)，其他硬件設定可查看以下表格：

CentOS 7 Minimal 安裝小提示

如下圖 2 所示，在 VMware 安裝 CentOS 7 的時候，KDUMP 若為自動開始有機會出錯，建議手動開啟。繼續如下圖 3 所示，為加快其後 Hadoop 設定過程，使用者可以在安裝介面 NETWORK&HOSTNAME 一欄中預先設定主機名稱，當然也可以在完成安裝後修改 /etc/hostname。

圖 2 手動開啟 KDUMP

圖 3 預先設定主機名稱

待續…

以上資訊由www.hkitblog.com提供

預測未來、把握機遇：2017 存儲及數據趨勢展望 – HKITBLOG

目前，大數據仍然不算普及，但並不代表大數據是沒有意義的技術，其價值及分析結果已經令很多企業家垂青。企業都在開始嘗試利用大數據來增強自己的企業業務競爭力，但是對於大數據分析行業來說，這技術仍然處於快速成長的初期，這領域仍有很多未定型的技術範疇，潛能可謂無法預視。現在企業最想知道的，應該是緊貼發展趨勢吧。以下有五項技術趨勢，CIO會更了解如何時署合適自身業務的大數據方案：

1.基於雲的大數據分析

Hadoop是用於處理大型資料集的一個框架和一組工具，這個最初設計在物理機上工作，但是目前這種現象已經改變，越來越多的基於雲的數據處理技術出現，例如Amazon AWS的Elastic MapReduce (EMR)，Google BigQuery中的資料分析服務，IBM的Bluemix雲平台等等，這些都是基於雲的大數據分析平台。

就目前而言，大數據的分析工作正開始向公用雲遷移，因為大數據分析需要一個安全、穩定、可靠的審計環境。目前已經有很多公司開始跟雲服務公司合作，希望得到一個能夠橫跨多個部門的雲平台來支援公司的業務資料分析。隨著雲平台成本的降低，這個趨勢將越發明顯，部署大數據已經不再是大企業專利。

2.Hadoop：新的企業資料作業系統

Hadoop分散式的分析框架，如今正在演變成分散式資源管理器，它可能將是資料分析的一個通用作業系統。有了這些系統，你可以將不同的資料操作和分析操作插入到Hadoop分散式存儲系統中來執行。由於SQL、MapReduce，在記憶體中，串流處理、圖形分析和其他類型的工作負載都能夠在Hadoop上有足夠的性能運行，越來越多的企業將會使用的Hadoop作為企業資料中心。

3.更多的預測分析

隨著大數據的發展，分析師不僅會累積更多的數據一起工作，而且還將處理大量許多屬性的工具。但是隨著大數據行業的發展，針對舊資料的分析更多的是為了提供預測的功能，畢竟人們更希望利用已有的資料來對未來預測有利的用途。

4.更多，更好的NoSQL

替代傳統的基於SQL的Relational Database的產品被稱為NoSQL，如今開始在特定種類的分析應用程式中普及。以這一增長趨勢估計，預計未來將有15至20個開源的NoSQL資料庫共同存在，他們各自有專長，這些資料庫會得到快速的發展。

5.在記憶體分析

使用記憶體來加快分析處理的技術如今越來越受歡迎，實時分析是很多企業使用者都喜歡的產品，目前很多基於記憶體的分析管理工具以及出現，其中以亞馬遜的HANA一體機尤為明顯。

總結：資料分析是一個熱門行業，未來有很大發展的空間，所以目前很多廠商都針對大數據分析領域推出產品，但是對於企業使用者來說，在選擇產品的時候要注意，由於目前資料分析尚沒有到達成熟的市場時期，所以市場上的分析工具參差不齊，在選擇產品的時候還是要選擇知名品牌為好。

以上資訊由www.hkitblog.com提供

透過分析大數據，企業將能洞悉未來的趨勢，從而令企業快人一步，把握即將到來的商業機會。前面這句說話，很多推出大數據方案的廠商都曾經說過，而很多企業想必也了解到大數據的價值；不過要企業部署大數據相關方案並非易事，除了大數據方案普遍昂貴之外，儲存架構是否足以應付數據增長速度、存儲媒介的效能是否能提供流暢的速度以應付分析方案的要求等，都是企業立即需要面對的問題。

其實分析方案的速度與基建的「質素」有絕對的關係，所以儘管廠商聲稱其方案提供極高速度也好，都要基建的配合才可。今天 Splunk 亦推出聲稱擁有極高速的大數據分析方案，名為 Splunk Analytics for Hadoop beta 版。Hunk(目前為 beta 版) 為 Splunk 軟體產品，具備 Hadoop 資料探索、分析、圖像化功能，並以 Splunk 的分析技術為基礎。官方稱透過方案將能提升與 Hadoop 資料互動及分析的速度，毋需設計程式、斥資整合或被迫搬移資料。

無需程式設計或整合

坊間針對大數據的分析方案，很多時都需要針對數據進行相應的設定及調整，這個過程往往需花上一些時間；但今次介紹的 Splunk 則可大大省去這些動作。首先它本身提供虛擬索引功能，這種虛擬索引技術可讓用戶使用所有 Splunk 技術，包括運用 Splunk Search Processing Language、互動式探索、分析與圖像化資料，當中最為重要的就是可不受儲存位置限制，而是如同存放在 Splunk 索引之中。Hunk 即是以此基礎技術為根本的方案。

而 Hunk 本身在設計上已支援用於互動式探索大型多元資料庫，用戶可在無需事先瞭解資料內容的情況下直接將 Hunk 設定於 Hadoop 群集；配合上方案提供的深層分析，讓你可實時從龐大資料中進行搜索及分析；另外，為解決可能發生的種種異常情況，方案亦同時提供自動偵測功能，此功能主要能偵測各項模式與異常狀態，也可能從資料中發掘趨勢，並找出值得注意的規則及模式。

除了擁有強大的搜索功能外，其分析後所產生的報表亦符合「容易明白」的原則，使用者將能夠製作精緻圖表，讓資料更具意義，並可分享予手提電腦、平板，或是其他行動裝置的用戶，讓管理層亦可直接查看結果，減輕 IT 部門的工作量；同時企業亦可因本身使用的習慣而自定報表，包括能將各種圖表結合一起、觀點與數據的設定等等；更甚者亦可針對不同人員製作控制頁面，最終用戶只需透過筆記型電腦、平板電腦或其他行動裝置即可瀏覽與編輯，實行將複雜的大數據分析工作變得更為簡單。

以上資訊由www.hkitblog.com提供