網站地圖
逢甲大學
deco

Big Data 要發功? 你找對顧問了嗎?

2016.09.01

deco
  大數據Big Data這個名詞,在相關應用技術不斷推陳出新,以及媒體大肆報導下,近年來已經從IT專有名詞,轉為一般人耳熟能詳的科技議題。但是,一般企業要如何應用Big Data?有哪些該注意的問題?本文希望提供有心要運用大數據相關工具的企業一些建議與參考。在進入正題之前,先介紹一個專有名詞~資料湖泊(Data Lake)
    自從2010年資料湖泊(Data Lake)這個名詞被Pentaho公司技術長James Dixon提出以來,已經連續多年成為科技趨勢預測的重點項目。相較於過去把數據單純以「資料倉儲」(Data Warehouse)模式儲存,儲存於「資料湖泊」(Data Lake)的資料有易於取得以及彈性分析的特點,已被視為大數據快速演進的下一步。
    以筆者公司知意圖(Etu)今年所接觸到的企業,在組織中新建籌組 Big Data 分析團隊的家數,相較去年成長不少。而原本就有建置資料倉儲、資料分析團隊的企業,則持續加碼投資,想延伸到半結構/非結構化資料的領域。在這個過程中,企業缺乏的,通常不是資料分析的人才或技能,反而是讓他們可以靈活調度多結構化資料、無憂進行分析工作的 Data Lake 平台,以及維持這個 Data Lake 正常運作所需的規劃能力、Data Preparation能力(從資料盤點、儲存、預處理、到結構化入庫的整串流程)、維運能力、與故障排除能力等。
    而這些與Data Lake 相關的能力就是企業最需要專業顧問服務協助的地方。企業可以從幾個面向,來判斷一家廠商 Data Lake 的顧問能力與能量:
1.Hadoop 專家的經歷
    最好有經歷過上百個節點以上Production Site的營運經驗。代表其不僅有實戰的經驗,解決手法也較細膩。
2.Hadoop 專家的數量
    充足可調配的人力不宜太少,對於專案處理更有效率。
3.溝通的成本與效率
    這裡的成本指的是包含距離的遠近、是不是講相同的語言。台灣本地服務廠商搭計程車、高鐵,國外來的顧問要搭飛機;台灣的專家講台語也會通,國外的顧問多數要使用英文。
 
4.應用開發經驗
    能站在使用者的角度,依據應用的特性,來進行 Data Lake 架構與營運合理性的規劃。
 
5.系統最佳化經驗
    必須具備 Linux 作業系統的效能最佳化、HA 架構、資訊安全等各種系統管理能力。
6.大型資料中心管理經驗
    當Data Lake 節點數量達到某個數量,能否做到叢集自動化管理、網段規劃與頻寬管理等,都是關鍵重點。
簡言之,企業有了值得信賴的專業廠商當夥伴,不管是提供顧問服務還是建置服務,Big Data 的應用,才能立於一個穩定的基礎上協助企業進一步發展與探索Big Data帶來的價值,對企業內部的資料分析團隊與 IT人員才有價值與效益。

關於 Etu (知意圖)

    Etu以亞洲為舞台,融合多方資料,致力於提供可決策、可行動的 Big Data 處理/分析軟體與雲服務。Etu擁有優秀的資料科學團隊與領先的資料科技,核心成員參與過世界級大規模的線上服務與系統管理,運行過數百到上萬個節點的服務叢集。Etu自2011年成軍以來,獲得許多獎項的肯定,建構開放的商業模式,持續與流量擁有者、資料擁有者、領域專家合作,共享資料產品的價值。
★更多關於 Etu 訊息,請上 Etu 官網:www.etusolution.com