Archive

Posts Tagged ‘MapReduce’

深入Hadoop大數據分析:初探網絡環境與設定

February 25th, 2017 No comments

深入 Hadoop 大數據分析:初探網絡環境與設定

上回介紹了 Hadoop 每個不同部份所負責的功能後,那麼接下來我們將會開始帶大家探討一下當中的網絡環境與設定。

深入 Hadoop 大數據分析:初探網絡環境與設定

今次主要以 VMware Workstation 12.1.0 安裝和設定 Hadoop 叢集。在如圖 1 所示網絡設定為 NAT,全部虛擬機都連接 VMware 的內部網絡,各虛擬機都必須使用固定 IP 地址,以防止 IP 地址轉變令 Hadoop 叢集連接不到 NameNode。至於操作系統方面,本次將會使用 CentOS 7 Minimal 版本。原因是 Minimal 是最純正的 CentOS 7 版本,其中只包含 CentOS 7 的核心套件,使用者可根據自身需求安裝對應的軟體包,減少軟體間發生不兼容的情況,因此容量是最小的,系統運行時所佔的 RAM 也是最小。

CentOS 對比起另一 Linux 發行版—- Ubuntu 較小出現因為帳號權限問題所發生的錯誤。為了更清楚顯示 Hadoop 的安裝和設定過程,今次會使用三台虛擬機,分別為一台 NameNode (Master Server) 和兩台 DataNode, TaskTracker (Slave Server),其他硬件設定可查看以下表格:

NameNode DataNode, TaskTracker 1 DataNode, TaskTracker 2
系統 CentOS 7 Minimal CentOS 7 Minimal CentOS 7 Minimal
主機名稱 Master Slave1 Slave2
IP 192.168.93.40/24 192.168.93.41/24 192.168.93.42/24
vCPU 1 Core 1 Core 1 Core
vRAM 2 GB 2 GB 2 GB
硬盤 20 GB 20 GB 20 GB

CentOS 7 Minimal 安裝小提示

如下圖 2 所示,在 VMware 安裝 CentOS 7 的時候,KDUMP 若為自動開始有機會出錯,建議手動開啟。繼續如下圖 3 所示,為加快其後 Hadoop 設定過程,使用者可以在安裝介面 NETWORK&HOSTNAME 一欄中預先設定主機名稱,當然也可以在完成安裝後修改 /etc/hostname。

深入 Hadoop 大數據分析:初探網絡環境與設定
圖 2 手動開啟 KDUMP

深入 Hadoop 大數據分析:初探網絡環境與設定
圖 3 預先設定主機名稱

待續…

以上資訊由www.hkitblog.com提供

多租户架構應「雲」而生、Oracle 統一管理無難度!

August 9th, 2013 No comments

數據庫可以用「超強」來形容,想必是革命性新功能!其實所講的就是新推出的 Oracle Database 12c。此數據庫本身加入了所謂的多租户架構,的而且確令筆者印象深刻,因此希望在此向大家簡單介紹一下。

究竟 Oracle Database 12c 與舊版有甚麼分別呢?從宣傳用詞上,大概可以得知這是針對雲端運算而設的數據庫方案,其實所指的便是其提供的多租户架構 Multitenancy Architecture。透過 Oracle Database 12c,用戶可以提升其雲端應用的質素及效能,並且能夠利用高可用性的架構及儲存管理,節省時間。此外,用戶亦可將多個數據庫合一管理,簡化數據庫的整合工作。

多租戶架構簡化雲端數據庫整合

何謂多租戶架構?其實多租户架構是 Oracle Database 12c 的一大創新。該架構主要能針對不同租戶中的數據庫內容進行分別管理,好處是可保障各租戶之間所需的獨立性與安全性,並且能保留其獨有功能;而管理員亦可因此享受到統一管理多個數據庫的優勢,從而提升伺服器的資源運用效率。

另外﹐透過基於多租戶的快照式複製功能,方案能提供幾乎「即時的配置」和「數據庫複製」,真正可令用戶節省升級、備份及數據庫復元所需的時間,簡化數據庫的配置以及複製;假如本身需測試數據庫及開發雲端相關情況,無疑 Oracle Database 12c 是一個不錯的選擇。

通過在數據庫層而非應用層支援多租戶,用戶可在不影響現有數據庫平台或應用的情況下,以 Oracle Database 12c 在多租戶架構中任意插入額外數據庫。此分離的管理模式可將不同數據庫整合至統一的多租戶架構,簡化整合過程,並可掌握對多個租戶的精細控制,特別適合基於 SaaS 的多個數據庫整合。

假如企業中本身有使用開 Oracle 的方案,今次新推出多租戶技術已證實可與所有 Oracle Database 功能互相配合使用,包括真正應用集群、分區、數據防護、壓縮、自動儲存管理、真正應用測試、透明數據加密及數據庫 Vault 等,毋需改動任何現有應用即可啟動此多租戶架構的數據庫,節省麻煩及繁複的部署工作。

實現數據遷移和數據壓縮自動化

傳統數據庫儲存結構已不能滿足龐大數據的需求,這是一個不爭的事實,而隨之而來的,便是數據庫系統變得越來越複雜,而龐大的數據儲存亦成為企業進行雲端運算時所面對的一大煩惱。面對上述種種情況,Oracle Database 12c 增添了熱圖和自動數據優化功能,透過這些功能將可輕鬆實現數據遷移和數據壓縮自動化。熱圖監測數據庫的讀/寫功能使數據庫管理員可輕鬆識別儲存數據的活躍度,判斷其是熱數據(非常活躍)、溫暖數據(只讀) 或冷數據(很少讀),從而協助用戶有效管理更多數據、降低儲存成本,以及提高數據庫性能。

簡化大數據分析助手

數據處理和迫切的大數據分析是數據庫不變的核心需求。而在簡化大數據分析方面,Oracle Database 12c 亦可通過 SQL 模式配對 (SQL Pattern Matching) 功能增強了大數據的數據庫內 MapReduce 功能,配合數據庫演算法、開放源碼 R 與 Oracle Database 12c 的高度集成,讓數據專家能針對企業資訊和大數據的分析做得更完善。此外透過 Oracle Database 12c 提供的智能壓縮和儲存分層功能,數據庫管理員可基於數據的活躍度和使用時間,輕鬆定義伺服器管理策略,實現自動壓縮和分層 OLTP、數據倉庫和歸檔數據。

安全防護解隱憂

相比以往的 Oracle 數據庫版本,Oracle Database 12c 具備更多安全性功能。例如全新的校訂功能,此功能可讓企業在毋須改變應用的情況下即可保護敏感數據,例如顯示在應用中的信用卡號碼。敏感數據基於預設的策略和客戶提供的訊息於運行時作即時校對;除此之外,Oracle Database 12c 亦備有所謂的運行時間優先分析功能,此功能主要讓企業能夠確定實際使用的權限和角色,從而協助他們取消不必要的權限,同時充分執行必須權限,確保業務營運不受影響。

簡單來說,今次新推出的 Oracle Database 12c 主要的賣點有三:其一是多租户架構、其二是增強的安全特性、其三是統一管理;透過此三大賣點,令用戶能以較簡化的操作流程,做到更準確的管理、更強的安全性等等,從而提升整體靈活性及工作效率。

以上資訊由www.hkitblog.com提供