南京迪塔維數(shù)據(jù)技術(shù)有限公司，以數(shù)據(jù)之路為初心，自2014年成立以來，經(jīng)過7年多的深耕，公司秉承著“孜孜問道，數(shù)業(yè)專攻”的理念，在數(shù)據(jù)技術(shù)上不斷顛覆力求精進(jìn)，在產(chǎn)品理念上也堅(jiān)持了 “客戶定義產(chǎn)品”的發(fā)展思路，逐步在數(shù)據(jù)技術(shù)和教育行業(yè)的交叉口站穩(wěn)腳跟。
在解決方案正式發(fā)布前，我們將多年來積累的理念與解決方案進(jìn)行分享，歡迎轉(zhuǎn)發(fā)、關(guān)注。本文作為系列文章的開篇，首先重點(diǎn)介紹數(shù)據(jù)倉庫技術(shù)相關(guān)架構(gòu)、概念和組成。
概念解讀
01
數(shù)據(jù)倉庫
目前數(shù)據(jù)倉庫的主流定義是數(shù)據(jù)倉庫之父Bill Inmon在1991年出版的《Building the Data Warehouse》一書中所提出的。
數(shù)據(jù)倉庫是一個(gè)面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。
根據(jù)定義，我們逐條解讀一下數(shù)據(jù)倉庫的特點(diǎn)如下：
面向主題：數(shù)據(jù)倉庫中的數(shù)據(jù)按照主題域進(jìn)行組織、存儲(chǔ)，非嚴(yán)格第三范式結(jié)構(gòu)。
集成的：分散的數(shù)據(jù)經(jīng)過抽取、清洗后，經(jīng)過系統(tǒng)加工、匯總和整理后，消除源數(shù)據(jù)的不一致性，形成整體的全局的信息。
相對穩(wěn)定的：數(shù)據(jù)主要應(yīng)用數(shù)據(jù)查詢、分析、輔助決策類應(yīng)用，進(jìn)入倉庫的數(shù)據(jù)一般會(huì)長期保存、相對穩(wěn)定。
反應(yīng)歷史變化：包含歷史信息（常用的數(shù)據(jù)切片、快照及數(shù)據(jù)拉鏈技術(shù)），歷史數(shù)據(jù)可追溯。
看到上述的特征大家會(huì)發(fā)現(xiàn)，數(shù)據(jù)倉庫的特點(diǎn)也正是目前數(shù)據(jù)中臺(tái)和數(shù)據(jù)治理的核心建設(shè)目標(biāo)。
02
數(shù)倉組成
數(shù)據(jù)倉庫結(jié)構(gòu)包含：
基礎(chǔ)數(shù)據(jù)存儲(chǔ)，主要特點(diǎn)支持海量數(shù)據(jù)存儲(chǔ)，支持快速檢索。
數(shù)據(jù)集成工具，主要是ETL工具，以T+1的周期性同步、CDC增量同步、觸發(fā)式實(shí)時(shí)同步為主，數(shù)據(jù)源最早定義為關(guān)系型數(shù)據(jù)庫。
元數(shù)據(jù)，數(shù)據(jù)倉庫建模以星型模型為主，事實(shí)表+維表作為核心存儲(chǔ)結(jié)構(gòu)，多表之間星型或者雪花型結(jié)構(gòu)延展。表模型數(shù)據(jù)、描述信息以元數(shù)據(jù)的方式抽象重構(gòu)。
可視化分析工具，主要是以T+1報(bào)表的形式，將數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行可視化呈現(xiàn)，例如經(jīng)典的28分析、庫存周轉(zhuǎn)率分析、商品關(guān)聯(lián)銷售分析等。
以上作為數(shù)據(jù)倉庫的基礎(chǔ)組成部分，在數(shù)據(jù)存儲(chǔ)方面，數(shù)倉又逐步形成了一直影響至今的幾個(gè)概念：
數(shù)據(jù)集市：以一個(gè)業(yè)務(wù)場景或應(yīng)用域?yàn)檫吔纾瑯?gòu)建出一個(gè)數(shù)倉子集，數(shù)據(jù)經(jīng)過預(yù)計(jì)算后進(jìn)行存儲(chǔ)。
ODS：用來存儲(chǔ)來自各業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，是數(shù)據(jù)倉庫的前置庫，主要用于業(yè)務(wù)數(shù)據(jù)備份及減少ETL的復(fù)雜度。
03
數(shù)倉的沿革
隨著技術(shù)的沿革，我們可以發(fā)現(xiàn)，數(shù)據(jù)倉庫到大數(shù)據(jù)平臺(tái)再到數(shù)據(jù)中臺(tái)，各個(gè)基本架構(gòu)依然存在，只是名稱和功能外延發(fā)生了擴(kuò)展。舉例來說：
ODS從最早的數(shù)倉前置庫，逐步演進(jìn)到現(xiàn)階段的數(shù)據(jù)湖，貼源層這樣的概念，數(shù)據(jù)內(nèi)容從單純的關(guān)系型數(shù)據(jù)，逐步擴(kuò)展到日志、信號數(shù)據(jù)，音視頻數(shù)據(jù)、圖文數(shù)據(jù)等，但是其核心作用依然與ODS的定義保持一致。
再比如說數(shù)據(jù)集市，在現(xiàn)在的中臺(tái)架構(gòu)中，數(shù)據(jù)集市逐步演變?yōu)榱藢ｎ}庫、主題庫的概念，但是本質(zhì)依然是為數(shù)據(jù)價(jià)值萃取，數(shù)據(jù)分析可視化等目標(biāo)服務(wù)。
總結(jié)來說：
數(shù)據(jù)倉庫從提出概念到落地再到成熟，時(shí)間跨度上和Oracle從非主流到一統(tǒng)江湖的時(shí)間基本一致，在2010年左右數(shù)據(jù)倉庫的建設(shè)理念在企業(yè)、政府、金融等領(lǐng)域不斷落地、更新迭代，達(dá)到架構(gòu)發(fā)展的頂峰時(shí)期。
隨著Hadoop開源大數(shù)據(jù)架構(gòu)的推出，數(shù)據(jù)倉庫理念的統(tǒng)治地位也和 Oracle數(shù)據(jù)庫的地位一樣，逐漸開始進(jìn)入了下行階段。
然而，無論是大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)還是數(shù)據(jù)庫云都沒有在本質(zhì)上顛覆數(shù)據(jù)倉庫架構(gòu)，數(shù)據(jù)倉庫的核心理念依然存在于各個(gè)最新概念當(dāng)中，不得不承認(rèn)其思想和架構(gòu)的經(jīng)典。
迪塔維公司在創(chuàng)業(yè)伊始，有幸參與蘇州市國稅局的數(shù)據(jù)倉庫架構(gòu)體系建設(shè)，截止到目前為止公司也一直在參與江蘇省稅務(wù)局的數(shù)據(jù)倉庫建設(shè)體系。
基礎(chǔ)架構(gòu)圖如圖所示
經(jīng)過多年的發(fā)展，稅務(wù)數(shù)據(jù)倉庫體系的基礎(chǔ)依然屹立不倒，依然作為目前大數(shù)據(jù)風(fēng)險(xiǎn)管理、稅收風(fēng)險(xiǎn)識別等內(nèi)部業(yè)務(wù)的主要支撐平臺(tái)。
但是，隨著新興技術(shù)的發(fā)展，原有數(shù)據(jù)倉庫的核心組成部分已經(jīng)發(fā)生了一些變化，這與高校信息化行業(yè)中數(shù)據(jù)平臺(tái)的發(fā)展非常類似。
下一期我們將重點(diǎn)解讀一下數(shù)據(jù)倉庫技術(shù)在近20年間教育行業(yè)落地中的發(fā)展和變化。
作者：王珂