集成策略
? ? ? ? 數(shù)據(jù)集成是指將來(lái)源于不同系統(tǒng)的數(shù)據(jù)組合在一起，供業(yè)務(wù)用戶研究不同的行業(yè)行為及客戶行為的數(shù)據(jù)處理方式。在數(shù)據(jù)集成應(yīng)用早期，數(shù)據(jù)僅限于交易系統(tǒng)及其應(yīng)用。業(yè)務(wù)決策的制定以決策平臺(tái)為指導(dǎo)，而有限的數(shù)據(jù)集提供了創(chuàng)建決策平臺(tái)的基礎(chǔ)。
數(shù)據(jù)容量與數(shù)據(jù)類型在過(guò)去三十年里大幅增長(zhǎng)，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)從無(wú)到有，基礎(chǔ)架構(gòu)和技術(shù)的發(fā)展?jié)M足了分析和數(shù)據(jù)存儲(chǔ)需求。這一切徹底改變了數(shù)據(jù)集成的前景。
傳統(tǒng)數(shù)據(jù)集成技術(shù)主要關(guān)注于架構(gòu)和相關(guān)編程模型的ETL、ELT、CDC和EAI類型。然而，在大數(shù)據(jù)環(huán)境里，這些技術(shù)需要根據(jù)規(guī)模和處理復(fù)雜度等需求進(jìn)行修改，其中包括需要處理的數(shù)據(jù)格式。實(shí)現(xiàn)大數(shù)據(jù)處理需要兩個(gè)步驟。第一步是實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的架構(gòu)，其中包括數(shù)據(jù)處理的分析和設(shè)計(jì)。第二步是物理架構(gòu)實(shí)現(xiàn)，我們將在下面的章節(jié)介紹這個(gè)步驟。
數(shù)據(jù)驅(qū)動(dòng)的集成
在建造下一代數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)方法中，企業(yè)中所有數(shù)據(jù)首先會(huì)根據(jù)數(shù)據(jù)類型進(jìn)行分類，也會(huì)考慮到數(shù)據(jù)本身的性質(zhì)及其相關(guān)的處理需求。數(shù)據(jù)處理過(guò)程將會(huì)用到內(nèi)置在處理邏輯中并且整合到一系列編程流程中的業(yè)務(wù)規(guī)則，數(shù)據(jù)處理會(huì)使用到企業(yè)元數(shù)據(jù)、MDM和語(yǔ)義技術(shù)（分詞技術(shù)）等。
圖10.3顯示了各類數(shù)據(jù)的入口數(shù)據(jù)處理過(guò)程。這個(gè)模型首先基于數(shù)據(jù)的格式和結(jié)構(gòu)劃分?jǐn)?shù)據(jù)類型，然后再進(jìn)行ETL、ELT、CDC或文本處理技術(shù)中各個(gè)層次的規(guī)則處理。下面，讓我們來(lái)分析一下數(shù)據(jù)集成架構(gòu)及其優(yōu)點(diǎn)。
圖10.3
數(shù)據(jù)分類
如圖10.3所示，數(shù)據(jù)可以粗略地劃分為以下分類：
非結(jié)構(gòu)化數(shù)據(jù)。這個(gè)大分類包括：
半結(jié)構(gòu)化數(shù)據(jù)。其中包括電子郵件、演示文稿、數(shù)學(xué)模型、圖形和地理數(shù)據(jù)。
架構(gòu)
在確定和整理好不同的數(shù)據(jù)類型之后，就可以清晰確定各種數(shù)據(jù)特征——包括數(shù)據(jù)類型、關(guān)聯(lián)的元數(shù)據(jù)、可以標(biāo)識(shí)為主數(shù)據(jù)元素的重要數(shù)據(jù)元素、數(shù)據(jù)復(fù)雜度及擁有和管理數(shù)據(jù)的業(yè)務(wù)用戶。
工作負(fù)載
處理大數(shù)據(jù)的最大需求是前面章節(jié)所介紹的工作負(fù)載管理。
有了數(shù)據(jù)架構(gòu)和分類，我們就可以分配可以執(zhí)行該類數(shù)據(jù)工作負(fù)載需求的基礎(chǔ)架構(gòu)。
我們可以根據(jù)數(shù)據(jù)容量和數(shù)據(jù)延遲時(shí)間將工作負(fù)載大體分成4類（圖10.4）。然后，我們?cè)俑鶕?jù)類別將數(shù)據(jù)分配到物理基礎(chǔ)架構(gòu)層進(jìn)行處理。該管理方法可以為數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)部分創(chuàng)建一種動(dòng)態(tài)可擴(kuò)展需求，它們可以高效利用當(dāng)前及未來(lái)的新基礎(chǔ)方法。在這個(gè)時(shí)候，一定要注意的關(guān)鍵問(wèn)題是要保持處理邏輯的靈活性，使它能夠在不同的物理基礎(chǔ)架構(gòu)組件上發(fā)揮作用，因?yàn)閿?shù)據(jù)是根據(jù)處理緊迫性進(jìn)行分類的，這樣相同的數(shù)據(jù)就可能會(huì)被歸類到不同的工作負(fù)載上。
工作負(fù)載架構(gòu)將進(jìn)一步?jīng)Q定混合工作負(fù)載管理的條件，來(lái)自不同工作負(fù)載的數(shù)據(jù)會(huì)一同處理。
例如，通常我們只需要在一個(gè)環(huán)境中處理一種數(shù)據(jù)及其負(fù)載，如果將高容量低延遲數(shù)據(jù)和低容量高延遲數(shù)據(jù)放在一起處理，數(shù)據(jù)處理環(huán)境就會(huì)面臨多樣化壓力。同時(shí)發(fā)生或高頻的用戶查詢和數(shù)據(jù)加載會(huì)進(jìn)一步加大數(shù)據(jù)處理的復(fù)雜性，情況可能會(huì)很快失去控制，然后影響整體性能。如果一個(gè)基礎(chǔ)架構(gòu)同時(shí)處理大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)，再加上這些復(fù)雜性，那么問(wèn)題會(huì)更加嚴(yán)重。
劃分工作負(fù)載的目標(biāo)是確定數(shù)據(jù)處理的復(fù)雜性，以及如何降低下一代數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)架構(gòu)設(shè)計(jì)的風(fēng)險(xiǎn)。