Archive

Posts Tagged ‘大數據’

機器學習與分析PaaS服務加入SDX共享數據體驗

March 19th, 2018 No comments

機器學習與分析 PaaS服務 加入 SDX 共享數據體驗

機器學習與分析 PaaS 服務  加入 SDX 共享數據體驗

行業分析師認為大數據分析雲端服務的散亂已成為企業日益嚴重的問題。不同團隊選擇差異甚大的雲端服務已逐漸成為『影子IT』,其對企業 IT 和組織架構將帶來挑戰,因為不同的模式和不一致的技術通常導致其應用範圍過於狹窄,無法協助企業內部擴展管理。此外,因為不易管控的非必要數據複製與執行也會增加成本、工作量等挑戰。

根據IDC MarketScape 發布的《2017年亞太區大數據與資料分析平台供應商分析報告》指出:「自 2017年起,IT 購買者(包括考慮投資大數據和資料分析,以及認知運算的各個企業業務線)不僅需考慮個別業務部門對平台的單一用途。而大數據分析(BDA)投資報酬率相對穩定且易於部署,各業務部門都能夠採用大數據分析解決方案,並快速地應用於不同環境。企業皆將面臨的挑戰是要如何將這些成功案例擴展或複製到更多的團隊中。」

過去一些比較為人熟悉的數據分析服務平台未能解決現有的業務需求,主要因為它們僅能支援單一用途的工作,未能與其他雲端數據服務融合。通常數據需要手動從一項服務裝置移轉到另一項服務裝置上,並儲存成新的格式,重新制定使用模式,同時也需承擔巨大的人力資源及風險。若欲整合不同的數據分析服務,其需支付昂貴的開發費用,且最終仍可能要面對效能不佳、使用者體驗不一致、資訊安全與IT管控等問題。

一個機器學習與分析平台即服務(PaaS)的雲端平台,以數據目錄共享為基礎,提供數據相關業務所需的資料。最近雲計算優化的機器學習及分析平台供應商 Cloudera 就推出具備共享數據體驗(SDX)的女 Cloudera Altus ,能支援企業不同高價值的商業用途。

SDX 允許多項數據分析功能同時執行,將不同來源的數據統一至單一群組裏。Altus 可應用於回答消費者較複雜的問題,例如最佳產品推薦,以及執行物聯網(IoT)預測性維護和進階威脅偵測。

以上資訊由www.hkitblog.com提供

定位中小企、大數據:全新 4TB、6TB和8TB空氣硬碟正式推出

February 9th, 2018 No comments

定位中小企、大數據:全新 4TB、6TB 和 8TB 空氣硬碟正式推出

定位中小企、大數據:全新 4TB、6TB 和 8TB 空氣硬碟正式推出

大數據分析涉及的資料存儲要求愈來愈嚴苛,而對於中小企來說,傳統為大型企業而設的儲存系統又有點太過跨張,於是便出現了一些針對中小企的硬碟,就好像近日由 WD 推出的中階容量硬碟,包括 4TB、6TB 及 8TB 空氣硬碟便是為中小企而設。

新產品系列能讓非超大規模(hyperscale) 環境的企業資料中心依然可透過分析技術、分散式檔案系統等大數據應用,掌握數據所蘊含的力量。

今次推出的硬碟當中採用了 HelioSeal 氦氣填充密封技術,因此能提供最高容量、高密度,並同時達成最低(或最佳)整體擁有成本。然而,許多傳統資料中心系統應用的數據集較小,他們非常依賴中階容量硬碟以處理磁碟陣列區塊及檔案系統 (RAID-based block-and-file system),或必須大量建置容量較低的空氣硬碟才能達到優化效能的目的。

分散式檔案系統,像 Apache Hadoop,其工作承載往往需要更高的存取密度,才能在執行大數據分析時維持效能,這些應用都是使用 4TB、6TB 和 8TB 的儲存容量。而 Western Digital 新推出的企業級解決方案就是專為此領域所設計,一方面提供企業級的效能及規格,讓 OEM 能以不同的容量與售價服務終端消費者,同時也能讓現今資料中心架構得以滿足企業整合方面的需求。

全新 4TB、6TB 與 8TB 空氣式硬碟將於 2018 年第二季量產。此系列產品內建 Western Digital 磁片快取技術 (media cache) 和非揮發性緩存 (flash-based non-volatile cache NVC) 快閃記憶體,以提升寫入效能。此外,這款企業級硬碟將支援 SAS 或 SATA 介面,並提供長達二百萬小時的企業等級平均故障間隔時間(MTBF)。

 

以上資訊由www.hkitblog.com提供

單一集群規模達 10,000 個伺服器!全新 MaxCompute 大數據平台正式推出

September 29th, 2017 No comments

 

單一集群規模達 10,000 個伺服器!全新 MaxCompute 大數據平台正式推出

物聯網現時正處於最初始的階段,然而日後當進一步發展時,物聯網與機器學習以及是大數據分析等,都會有著很密切的關係,因此很多大型的廠商現時都開始針對大數據以及機器分析等而推出相對應的方案,而近日阿里雲亦宣佈在港推出 MaxCompute 大數據處理平台。

平台由阿里雲獨立研發,擁有多項特點:包括升級計算和機器學習能力、可擴展性和安全防護。MaxCompute 容許用戶儲存和處理 TB 級 (1012) 甚至是 PB 級 (1015) 的海量結構及非結構數據。單一 MaxCompute 集群規模可達 10,000 個伺服器。與採納分佈式計算模型的傳統數據分析平台不同,MaxCompute 可易於維護和方便使用。

平台能夠進行以 CPU/GPU 為基礎的機器學習,具有高度擴展性及兼容性。項目負責人、數據分析師和開發者可以同時工作,從而創造一個不斷擴展的生態系統。另外,MaxCompute 亦提供安防和容災服務以保障用戶的數據安全。現時 MaxCompute 已先後於中國大陸和新加坡推出。

以上資訊由www.hkitblog.com提供

生產力局與福田合作成立深圳創新及技術中心

August 22nd, 2017 No comments

生產力局與福田合作成立深圳創新及技術中心

香港生產力促進局與深圳市福田區將於福田保稅區成立「香港生產力促進局深圳創新及技術中心」,透過這個專業科研機構和服務平台,促進深港創新和科技合作與交流。

雙方日前(2017 年 8 月 18 日)在深圳市福田區簽署合作備忘錄。香港特區政府創新科技署署長蔡淑嫻、生產力局主席林宣武、福田區委書記肖亞非、 深圳市科創委黨組書記、副主任邱宣及深圳市外事辦(港澳辦)黨組成員/對外友好協會專職副會長王昱文為簽署儀式作見證,由福田區政府區長高聖元和生產力局總裁麥鄧碧儀代表簽署。這是福田區政府最新打造的「深港協同創新中心」落戶的首個港方科研機構專案。

今次與福田區合作成立的「香港生產力促進局深圳創新及技術中心」將主力開發智能製造、人工智能、大數據和環保科技等方面的解決方案和服務。此外,中心將提供初創企業和中小企業的綜合支援服務,以及專業培訓課程,並希望能成為深港創新和科技合作與交流的平台。

今後,初創企業可在本港的「知創空間」將創新意念製作為設計原型,再透過中心在中國尋找適當的生產商,進行大量生產;同時也可向中國投資者展示創科產品,爭取業務合作機會。雙方期望藉著中心建立深港與國際合作平台,吸納深圳地區的優秀技術人才,與海外專業團體及大灣區的政府、大學及專業機構合作,推動創新科研和應用。

以上資訊由www.hkitblog.com提供

全面智能化!環法單車賽將首次引入機器學習技術

July 3rd, 2017 No comments

全面智能化!環法單車賽將首次引入機器學習技術 – HKITBLOG

全面智能化!環法單車賽將首次引入機器學習技術

全面智能化!環法單車賽將首次引入機器學習技術

一年一度的環法單車賽將於 7 月 1 日至 23 日舉行。主辦機構阿莫里體育組織 (Amaury Sport Organisation,簡稱 A.S.O.) 與賽事官方技術合作夥伴達科 (Dimension Data) 於 6 月 29 日聯合宣布,今屆環法單車賽將首次引入機器學習技術,為全球的單車愛好者帶來前所未有的體驗。

由達科與 A.S.O. 共同開發的達科數據分析平台今年將引入機器學習技術和精密的演算法,把賽事即時數據與過往賽事的數據結合,並因應賽事進展提供更深入的分析。各選手的愛好者可利用車手的檔案了解個別車手的專項賽道和比賽情況。

全面智能化!環法單車賽將首次引入機器學習技術

安裝於每部單車座位下的全球衛星定位系統訊號轉發器是即時追蹤和數據分析解決方案的核心。轉發器收集的數據會結合賽道斜度及天氣情況等外部數據,得出個別車手的實時速度與所在地點、各個車手之間的距離,以及參賽隊伍陣容等種種分析結果;而另一特點是在 21 個賽段所產生並分析的數據點由去年的 1 億 2 千 8 百萬個激增至本年的 30 億個。

此外有關方面更首度利用預測性分析技術,預測發生不同賽事狀況的可能性,例如主車群會否在某賽段趕上突圍車手。

全面智能化!環法單車賽將首次引入機器學習技術

另一方面,今年的環法單車賽亦利用了一個完全基於雲端的虛擬化數據中心提供所需的運作規模,因而可減省在賽事現場負責操作系統的人手。由於雲端可在世界不同地方進行管理,所以這種方案模式同時提供了地理上的靈活性。

環法單車賽部分重點資料包括:

– 22 支隊伍的 198 位選手將於全長 3,540 公里的賽道產生超過 1 億 5000 萬個有關地理空間和環境的讀取值數據
– 環法單車賽的即時追蹤網站 racecenter.letour.fr 在 2016 年平均每秒處理 2,000 頁要求,而今年己經提升效能至支持每秒 25,000 頁要求
– 2016 年全球有來自 190 個國家的 100 個電視頻道播放了共 6,100 小時的節目。今年電視廣播的時數將由去年的 80 小時增加至今年的 105 小時,且賽事將由每個賽段的首公里便開始廣播

以上資訊由www.hkitblog.com提供