數據中臺到底是什么,幾年過去了,一直眾說紛。
筆者認為數據中臺不應該是一個單純的系統或者是一個軟件工具,而應該是一套架構、一套數據流轉模式。
數據中臺需要采集數據作為原材料進行數據加工、數據建模、然后分門別類地儲存,再根據實際的業 務場景,打造各類數據服務(含數據應用平臺)從而實現對業務的賦能加速。
但以上流程的實現,需要有對應的系統與產品作為支撐,那么基礎的數據中臺到底應該由哪些系統或者產品組成?
這里我們可以先來看一下幾個企業的數據中臺架構,文末也分享了10份數據中臺實踐案例合集,從多家公司的完整實踐經驗看下來,應該能一窺究竟。
數據中臺總體架構圖
數據中臺是在底層存儲計算平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層存儲平臺的計算技術復雜性,降低對技術人才的需求,讓數據的使用成本更低。通過數據中臺的數據匯聚、數據開發模塊建立企業數據資產。
通過資產管理與治理、數據服務把數據資產變為數據服務能力,服務于企業業務。數據安全體系、數據運營體系保障數據中臺可以長期健康、持續運轉。
阿里巴巴數據中臺
全域數據采集與引入:以需求為驅動,以數據多樣性的全域思想為指導,采集與引入全業務、多終端、多形態的數據。
標準規范數據架構與研發:統一基礎層、公共中間層、百花齊放應用層的數據分層架構模式,通過數據指標結構化規范化的方式實現指標口徑統一。
連接與深度萃取數據價值:形成以業務核心對象為中心的連接和標簽體系,深度萃取數據價值。
統一數據資產管理:構建元數據中心,通過資產分析、應用、優化、運營四方面對看清數據資產、降低數據管理成本、追蹤數據價值。
統一主題式服務:通過構建服務元數據中心和數據服務查詢引擎,面向業務統一數據出口與數據查詢邏輯,屏蔽多數據源與多物理表。
網易嚴選中臺架構圖
數據中臺的下層是數據平臺,數據平臺主要解決跟業務無關的問題,主要是大數據的存儲和計算問題。
數據中臺的上層就是數據前臺,主要包括 BI 報表、數據產品和業務系統。數據中臺首先賦能分析師通過 BI 報表的形式來驅動業務精細化運營。如下圖所示,基于數倉里已經半加工好的數據,再通過BI 平臺快速的根據業務需求進行數據可視化和數據分析
網易云音樂數據中臺架構
最底層是基礎設施層,這包括資源環境和平臺工具兩部分
第二層是數據層,數據層即網易云音樂的 OneData,包括元數據中心、標準化數倉、數據地圖、統一指標體系、數據安全中心和保障這套體系的數據質量管理中心。
第三層是服務層,服務層即網易云音樂的 OneService。它提供不同層級和粒度的數據 API,包括從最底層的任務執行調度能力,到最面向應用的人群圈定的各類服務能力。
最上層是產品層,針對一個個核心業務問題(增長、營收、版權)搭建了對應數據產品,實現從業務流程、信息采集、數據洞察到 ROI 評估再到業務流程的完整閉環
轉轉數據中臺
數據模型、數據服務與數據開發,通過數據建模實現跨域數據整合和知識沉淀,通過數據服務實現對于數據的封裝和開放,快速、靈活滿足上層應用的要求,通過數據開發工具滿足個性化數據和應用的需要
某企業數據中臺架構圖
下面這個數據中臺,根據數據資產梳理結果,并以大數據平臺的“數據采集+海量存儲+計算引擎”為基礎搭建公司數據湖,再基于數據湖并結合“數據資產管理服務”和“智能數據研發服務”兩大支撐服務群實現中臺數據的資產化管理和智能化開發,達到快速應對各類數據需求的目標,也實現一整套基于寬表結構、分主題的基礎數據,然后實現對外提供數據服務的統一接口,并最終形成匯聚公司數據及其服務的中臺,為實現數據賦能的數據應用和產品提供全方位的基礎數據以及各類服務支持。
農行數據中臺架構
農行“薄前臺、厚中臺、強后臺”IT 架構體系中對前中后三個層次描述得更為明確,將大數據平臺和 PAAS、IAAS 基礎設施劃入了后臺。
根據以上企業的數據中臺實踐,我們不難看出,所有的數據中臺建設,都是圍繞著企業數據的采集接入、加工存儲、統一管理與數據服務4項能力來開展的。
但無論如何,我非常建議大家多看看不同企業的中臺架構圖和建設方案,內化自己對中臺的理解,而不是盲目跟風、照搬其他公司的中臺架構和建設藍圖,比如你真要照著阿里的方式做,基本就把自己的資源耗光了,也很難換來價值產出,也不要倉促地去購買商用的數據中臺套件,沒有什么較佳路徑是可依賴的,每個企業所處的數據和業務階段都不同,始終要根據你這個企業所處的階段、一線對于數據的真實需求做出合理的判斷和選擇。
最后,分享一些我手中珍藏的中臺相關的建設方案和報告,推薦大家去看看。
獲取方式: