香港企業採用大數據技術仍在起步，要考慮的事的確很多，但筆者認為廠商經常說得過於複雜，令企業設計大數據架構時存有疑問，例如在建構時選取那種制定方案使用方法及規模，相信是很多決策人希望了解的事，那麼我們嘗試化繁為簡，由淺入深了解部署時的考慮點。
在我們考慮大數據時，注意力放在「大」這個字，但是在建設基礎架構時，我們還應該注意「分散式」的數據處理。事實上，大數據軟件需要處理大量資訊，而且在將資料複製到多個位置時，數據的容量便會倍增。但是，大數據的最重要屬性並不在於它的規模，而在於它將大作業分割成許多小作業的能力，它能夠將一個任務的資源分散到多個位置變為同時處理。在將大規模和分散式架構組合在一起時，我們就能發現大數據網路有一組特殊的需求，下面是需要考慮的六個要素：
1. 不容有失 提升網路彈性
如果有一組分散式資源必須通過互聯網進行協調時，可用性就變得非常重要。萬一網路出現故障，便會出現不連續的計算資源與資料庫崩壞。說白一點，大多數網路工程師的主要關注點是正常執行時間，但是，網路故障的原因又各不相同，包括設備故障（硬體與軟體）、維護和人為錯誤。我們都知道伺服器故障是避無可避，網路的可用性也很重要，所謂完美的設計其實是不存在。
網路架構師應該設計一些能適應故障的彈性網路，網路的彈性取決於路徑多樣性(資源之間設置多條路徑)和容錯轉移(能夠快速發現問題和轉移到其他路徑上)。除了傳統的平均故障時間間隔（MTBF）方法，大數據網路的設計標準一定要包括這些架構。
2. 解決網路擁塞
大數據應用程式不僅僅是規模大，而且還有突發性的流量「洪峰」。當一個程序啟動後，數據就開始流轉，在高流量時段時擁塞造成的問題可以很嚴重，例如可能引起更多的Queues增加延遲和packet lost。網絡擁塞還可能令請求多次發出，這可能讓本身負載繁重的網路無法承受。因此，網路架構設計時應該盡可能減少擁塞點，要網路具有較高的路徑多樣性，這樣才能容許網路流量分流到大量不同的路徑上。
3. 性能一致要比遲延性更重要
實際上，大多數大數據應用程式對網路延遲並不敏感。如果運算時間以秒計或以分鐘計的話，即使出現較大延遲也是可以接受，例如為幾千ms。然而，大數據應用程式一般具有較高的同步性。這意味著作業是並存執行的，而各個作業之間較大的性能差異可能會引發應用程式故障。除第1至2點提到網路的高效性，空間和時間上也要具有一致的性能。
4. 預留未來的擴展性
大多數大數據叢集實際上並不大，根據Hadoop Wizard的資料，2013年大數據叢集的平均節點數量只有100個。換句話說，即使每一台伺服器配置雙重redundancy，支援整個叢集也只需要4個接入switch (假設是分別有72個10GbE網絡接口的Switch)。
擴展性並不在於現在叢集有多大規模，而是在乎如何平衡地擴展支援未來的部署規模。如果基礎架構設計現在只適合小規模部署，那麼整個架構將如何隨著節點數量的增加而不斷進化？未來何時需要完全重新設計？這個架構是否需要一些近程資料和資料位置資訊？關鍵是擴展性並不在於絕對規模，而是更關注於實現足夠規模解決方案的路徑。
5. 網路分割 關鍵任務先行
網路分割是大數據應用環境的重要條件，形式上，要將大數據的流量與其他網路流量區分開來，這樣應用程式產生的突發流量才不會影響其他關鍵任務網絡負載。除此之外，運行多個作業的多個用戶，以滿足性能、合規性和審計的要求。這些工作要求在一些場合中實現網路負載的邏輯分離，某些場合還要作物理分離。
6. 應用感知力
雖然大數據的概念與Hadoop部署關係密切，但是它已經成為叢集環境的代名詞。根據不同應用程式的特點，環境的需求隨之不同。有一些可能對頻寬要求高，一些則可能對延遲很敏感。總之，一個網路要支援多應用程式和多用戶，它就必須要能夠區分自己的工作負載，並且要能夠正確處理各個工作負載，不僅僅是提供足夠的頻寬。
最後，應用程式體驗取決於很多因素，包括網路擁塞和分割。創建一個滿足所有這些需求的網路需要具備前瞻性，不僅要考慮基礎架構能夠支援的伸縮規模，還要考慮不同類型的應用程式如何共存於同一環境中。
以上資訊由www.hkitblog.com提供
明年IT人運程如何趨吉避凶，有幾項科技本年開始升起值得繼續注目，企業加以利用將可運轉乾坤。EMC總結有四大重點科技於2014年為企業帶來轉變，分別為軟件定義、混合雲、儲存技術、數據湖泊。
軟件定義配合物聯網發展
Software Define 的概念是將所有實體的服務都可以以軟件虛擬化，可透過建立軟件定義數據中心來實現。軟件定義數據中心可於單一平台上收集、存取、管理及分析數據，從而提高管理效率和可操作性，亦同時支援和運行傳統企業應用程式。大部份軟件很可能會部署在智能電話、平板電腦，以至汽車、運動鞋等數十億個擁有獨特識別器、且能連接互聯網的日常物件上(IoT)，因此，儲存陣列、伺服器、網絡以至整個數據中心未來更將會被智能軟件統一管理，使用單一軟件操作促進簡易和高效率的用戶體驗，74%的本地受訪企業認同，軟件定義儲存等自動化解決方案是促進業務增長的首要關鍵。
藉混合雲提升生產力
去年，企業均加快採用混合雲模式，既享有私有雲的可信任性、控制性和可靠性，同時可享公共雲的簡易性、低成本及靈活性。混合雲的管理簡易、靈活並具成本效益，協助企業實現IT即服務（IT-as-a-service），提升競爭力。來年IT部門的職能改變，IT營運將集中由IT部門主理，而應用程式開發的責任將會分散至其他部門，以更貼近用戶需要，其他部門進一步了解科技對企業發展的重要性，促進業務創新。去年，不少企業增加在IT虛擬化方面的投資，而非IT職能部門所承擔的開支比例亦愈來愈高，預料這項趨勢於2015年將會持續，尤其是在有關應用程式開發、建立及擴展虛擬化平台諮詢服務等方面。
數據湖衝擊出現
透過第三平台技術，企業製造了大量數據，形成「數據湖泊」，從中提取出商業價值，這些數據大部份來自流動應用程式及社交媒體，企業開始意識到採用第三平台技術的可行性及效益，以簡化管理、提高效率、提升資訊系統安全性及應付法規要求等目的。
快閃記憶體儲存技術
銀行及金融機構對快閃記憶體儲存技術需求最大，令需求在本年倍數上升。其明顯優勢是極低遲緩、最高效能和最快速的儲存系統。企業已開始採用可進行線性擴充、功能全面、以及「Always-on」的同步數據服務。利用海量數據軟件實時捕捉客戶於流動網絡中的消費行為，企業較以往需要即時分析更多的非結構性周邊數據，令內存數據庫（In-memory Database）及快閃記憶體儲存的需求上升。未來市場可望推出機架級規模的快閃記憶體儲存，為應用程式提供高度I/O效能、速度以及更大的可擴充性。
雖然這些技術仍然是昂貴得只有大企業可負擔，但隨著技術繼續成熟，更多企業及不同行業都會受惠，改變現有IT 架構，很多管理層均預計到其價值有助處理日益增長的IT需要，來年將加快投資新項目。
以上資訊由www.hkitblog.com提供
應用經濟影響企業發展步伐及競爭壓力，應用市場仍然未飽和，客戶應用及內部應用開發仍有很大空間，而背後為企業帶來的利潤增加更是挖不完的寶藏。
CA Technologies公佈一項針對亞太及日本地區 (APJ) 的研究，發現APJ受應用經濟影響最大。所有企業都認識到應用經濟的影響，當中過半受訪企業正在經歷這影響，但只有不到一半認為他們非常有效地應對這個問題。
強者越強定律
企業對開發應用的態度有明顯分野，主要原因是考慮保安問題(41%)和預算限制(36%)是最大障礙。報告就正正指出應用程式開發時間已成為企業業績分水嶺，應用經濟下的「領導者」能緊貼環境加快推出新應用，其行業競爭力及業務指標明顯優於「落伍者」，領導者新產品推出及服務業務是「落伍者」的兩倍以上，企業以流動性為發展策略，明顯令客戶更滿意。
應用經濟帶來的壓力令企業為加速推出應用程式，其中受訪企業未來五年平均增加18%的投入，內部自行開發更多軟件，又或是收購軟件公司，提升開發能力。在亞太和日本這個地區，個體之間的脈絡異常緊湊，應用程式正重新定義客戶互動，並引領業務增長計劃。
客戶應用程式是客戶與企業溝通的重要渠道，用戶已經習慣利用應用自動化取得所需產品及服務，過去一年，企業平均交付6款客戶應用程式，以開拓更多商機。DevOps的開發營運模式是未來加快新服務推出周期的重要方式，IT決策者應迅速行動搶先同業佔領這橋頭堡。
以上資訊由www.hkitblog.com提供
物聯網近年成為熱話，然而物聯網本身的操作方法卻遠早於十年前已出現；當年第一代的智能傢居依賴特制操制器進行操作，其實已是一個活生生的物聯網應用例子。時至今日物聯網的應用範疇已更深入日常生活之中，即便是辦公室之內，亦不難發現物聯網的案例。
最常見但卻最常被忽略的便是辦公室之中的咖啡機；有些大型公司會通過安裝不同的感應器從而令其可遙距監測分佈於不同辦公室內的咖啡機資訊；而這種物聯網趨勢仍會持續上升。根據一份由 Gartner 公佈的研究報告顯示，2015 年連接式物件的使用量將達到 49 億部，較 2014 年上升 30%，預期至 2020 年達到 250 億部。
隨著數碼移動由力量連結 (Nexus of Forces，包括雲端、流動、社交及資訊) 策動，並因為 IoT 而大幅提升，威脅不少現有業務。企業並沒有選擇，只能奉行 IoT，就如他們實現資訊科技個人化一樣，所以物聯網的普及性將會有突破性的增長。
隨著消費者、企業、政府，醫院及許多其他機構找到新方法善用 IoT，這突如其來的擴展將推動 IoT 所帶來的經濟影響。Gartner 預計 IoT 將為 2015 年及 2020 年總服務消費各自帶來 695 億美元及 2,630 億美元。
消費應用將帶動連接式物件的數量，而企業將佔大部分收入。Gartner 預計 2015 年，29 億部連接式物件將應用於消費行業，並於 2020 年達超過 130 億部。汽車行業的 2015 年增長率最高，達 96%。
從各行各業來看，製造業，公共事業及交通運輸將會是 2015 年首三大垂直行業使用 IoT，它們將合共使用 736 萬部連接式物件。至 2020 年，排名將有所改變，公共事業位列第一，製造業成為第二，政府則排名第三，它們將合共安裝 17 億部 IoT 裝置。
IoT 所強調的是資訊安全、資訊科技安全、操作科技安全及實體經營安全之間前所未有的緊密關聯。現時，管理人員需要決定企業安全的未來，如誰人管治、管理及經營。Gartner 表示，至 2017 年底，超過 20% 的企業將設有數碼安全服務，專門保護使用 IoT 設備及服務的商業計劃。
以上資訊由www.hkitblog.com提供
雲端架構師該
有些產品需要與特定的雲端軟件或軟體即服務配合，選擇那種技術支援是由企業架構人員進行判斷。專家表示，連接這些應用程式的最新、最好方式就是通過雲端連接器(Hybrid Cloud Connector)進行連接。連接器可以具有轉換和同步功能的服務一同處理。例如像IBM和Dell這種大型企業可以自我提供的連接器，但是對於這種少人知道的雲連接器也沒有折扣提供。專家組建議，在設置連接器之前，架構人員應該對連接器的使用方法進行詳細的評估。
Martijn Linssen是We Wire People的創始人，該公司是一家坐落于荷蘭烏德勒支的技術諮詢公司。Martijn Linssen認為遇到最艱難的問題是要遵循一系列標準。他說：“要得到較好的解決方法並不是一件容易的事。僅僅在一個星期內，你是無法做出任何事情的。”
多方向選擇
Linssen建議，先了解企業對整合連接方面有多大需求。例如，架構人員也需要將企業系統連接到雲端客戶管理或者其他雲端軟件上。
Dell的Boomi、Informatica Cloud和IBM的WebSphere Cast Iron Live都與雲端整合（CBI）有關。Stefan Ried是Forrester Research公司的一名首席分析師，他認為，即使雲端整合一定存在着複雜性，但是這些工具仍然可以提供一種簡單的環境。他說：“他們可以通過SAP系統中的客戶帳號來獲取客戶記錄。”然而對於一些企業來說，IaaS和CBI的能力並不足夠。
Ried認為，不僅僅需要這樣的方案，但也用需要用到更多平臺即服務（PaaS）的方法。例如，一個企業需要使用一種軟件追蹤巴西的債務記錄，同樣，也需要追蹤加拿大或者美國的債務情況。他說：“如果你想要查詢或者改變資料的話，那麼這些以PaaS為中心的技術工具將會是最佳的選擇。” Ried補充道，MuleSoft、Tibco、Cordsys以及其他幾個公司也都會提供PaaS業務邏輯功能。
新連接、新應用
Rebecca Wettemann是Nucleus Research公司的研發副總裁，這間公司是波士頓研發諮詢的機構。她說，另外一件需要考慮的事情是，隨著時間的變化，這種連接器是否仍可以放於企業用戶的手中。
她補充說：“以Salesforce.com為例，我選擇自己配置而非使用預設服務。我自問，GUI介面能交予業務分析師進行管理嗎？如果有人需要對該配置進行修改，每一次修改也不會耗費太多成本。”她認為，每次都需要根據業務的變化進行整合，但是，不能在編碼上耗費太多功夫。
選擇你最適合的產品
Wettemann建議要找一款是最實惠的連接器，並自行比較現有雲端運算連接機器，供應商是否可以提供適合的方案。她說：“從這一點來看，你應該需要找到一家可以實現80%能開箱即用程度的雲端供應商。”
Wettemann說，在考慮供應商的時候，要特別關注它的潛在能力及擴展性。因為架構人員可以有很多選擇空間，他們可以在家裡查看所負責的專案程度。
最後，如果希望可以快速實行以上目標，獲得投資回報（ROI）。Wettemann說：“應該在六個月內，就可以獲得投資回報。特別是雲端運算方面，你想獲得ROI，就要好好利用這金錢，也許你就會從項目中獲得樂觀的收益。”
以上資訊由www.hkitblog.com提供
