Welcome神灯开户网址為夢而年輕!

【第十二期CXO直播精彩回顧】魯四海:數據中台最佳實踐

2019-06-11 10:14:33

來源:CIO時代

  2019年6月3日下午,第十二期CXO直播如期開播,本次直播活動由CIO時代學院陳建對話中國新一代IT産業推進聯盟技術分委會秘書長、全國高校大數據教育聯盟副秘書長、北京萬山數據創始人魯四海,并跟大家分享了“數據中台的最佳實踐”。
 
  數據中台的産生
 
  都說數據中台将成為大數據發展的熱點,企業、政府部門都在積極的探索,躍躍欲試建立數據中台的原因我們分析如下:
 
  1、大數據潛在的價值還沒有充分挖掘
 
  大數據發展到今天,很多單位都建設了大數據平台,受制于原來的體系架構,但很多隻是做到了數據集中存儲,數據的深度挖掘還處于起步階段,數據潛在的價值還遠遠沒有被挖掘出來。
 
  2、數據與業務融合度差,大數據對業務創新的支持明顯不足
 
  目前,很多大數據平台建設往往都是技術導向,在數據存儲、計算、挖掘等技術能力上面建設投入大,但對業務支持的模型缺乏或者隻是建設了部分固定模型,但業務最不需要的就是模型的穩定,一個數據模型如果一味追求穩定不變,一定程度就是故步自封,所以無法支持業務創新。
 
  還有一方面原因是傳統大數據平台,往往是對技術用戶開放,而對業務用戶、數據分析用戶卻不友好,導緻懂數據的人卻不能很好利用數據。
 
  3、數據及數據模型重用不足
 
  在企業内,雖然統一建設了大數據平台,但是數據應用方面基本是煙囪式數據生産模式或者是項目制建設方式,必然導緻數據知識得不到沉澱和持續發展,從而造成模型不能真正成為可重用的組件,無法支撐數據分析的快速響應和創新。
 
  曾經企業的數據抽取就有多份,報表一份、數據倉庫一份、數據集市一份,無論是抽取壓力、維護難度及數據一緻性要求都很高。同時,統一的基礎模型将相關業務領域的數據做了很好的彙聚,解決了數據互通的訴求,這點的意義巨大。
 
  數據中台的目标是提升效能、數據化運營、更好支持業務發展和創新,是多領域、多系統的負責協同。數據中台是平台化的自然演進,讓數據管理集中化,但數據應用去中心化,突出對能力複用、協調控制的能力,以及業務創新的差異化構建能力。
 
  數據中台與數據倉庫、數據湖的差異
 
  接下來從計算存儲、數據處理、數據源、數據組織、數據價值等幾個方面,将數據中台與傳統數倉庫,大數據數倉,數據湖進行比較分析。
 
  數據中台的價值呈現主要在三個方面:
 
  1)建設面向業務系統的API服務;
 
  2)面向分析人員的自主式分析服務;
 
  3)面向業務用戶交互式可視化。
\
  數據中台的特點
 
  從技術和業務層面分析了數據中台的特點。從技術層面,數據中台具有大數據量處理,橫向擴展,實時分析查詢,高并發處理,融合數據準備、存儲、計算、挖掘、交互全生命周期技術等特點。在業務上具有“四化”特點,即數據業務化、數據标準化、數據服務化、數據自主化等。
 
  數據中台是介于基礎設施與應用層之間,中台做大,把數據及數據處理能力服務化,就會讓應用層更加便捷。通過大量原子化服務,能夠便捷的、敏捷的、快速組裝出來新的應用系統,通過服務随時的拆裝,組裝,實現業務的創新。
\
  數據中台架構
 
  在數據中台的架構中,數據資源池重點是把各種各樣的數據集合起來,重點考慮的是存儲的可擴展性、性價比,以及查詢性能;塊數據融合中心在技術上考慮格式化數據據快速分析,并具備較高的并發能力,同時以領域、區域等角度建設塊數據模型,解釋條數據帶來的數據割裂而無法深度分析的問題;另一重點是基于AI的敏捷分析平台,是數據服務平台、自主分析平台、決策支持平台的基礎。
\
  數據中台建設策略
 
  而對于數據中台建設策略,要從價值牽引、模型有先、技術适用、用戶參與、開放擴展這幾個層面分析。對于數據中台建設中的難點,在于數據模型和數據服務。數據模型是分層次的:基礎模型、融合模型、挖掘模型。
 
  數據隻有和業務的融合才能突顯數據價值,所以數據中台建設中要重點建設物理層、模型層、分析層、應用層的可維護;數據的業務化,數據邏輯的集中,模型共享的重用以及用戶/專家可以參與的自助分析。
 
  而且從分析應用切入,自上而上,讓數據中台的能力建設、數據模型建設、數據标準治理有的放矢,讓中台的建設不再是黑盒子。
 
  本期活動的精彩視頻回放已經同步到CIO時代公衆号與CIO時代APP,錯過直播的朋友們,也歡迎大家觀看回放。如果您想做客我們的直播間,可以随時跟我們聯系。