在企業(yè)中，業(yè)務(wù)的快速發(fā)展產(chǎn)生了大量數(shù)據(jù)，也出現(xiàn)了多種應(yīng)用系統(tǒng)，各系統(tǒng)承載不同類型的數(shù)據(jù)，并對應(yīng)著不同的數(shù)據(jù)存儲方式。這些系統(tǒng)的數(shù)據(jù)源彼此獨(dú)立、相互封閉，使得數(shù)據(jù)難以在系統(tǒng)直接交流、共享和融合，從而形成了“數(shù)據(jù)孤島”。
在進(jìn)行企業(yè)級數(shù)據(jù)挖掘分析項(xiàng)目中，要先將企業(yè)內(nèi)部各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)實(shí)現(xiàn)互聯(lián)互通，從物理上打破數(shù)據(jù)孤島，而這就需要通過數(shù)據(jù)集成來實(shí)現(xiàn)。
數(shù)據(jù)集成概念
數(shù)據(jù)集成：從字面上來說是企業(yè)獨(dú)立的信息系統(tǒng)之間的數(shù)據(jù)。在很多應(yīng)用場合，人們需要整合不同來源的數(shù)據(jù)，才能獲取有效的分析結(jié)果，否則，不完整的數(shù)據(jù)將導(dǎo)致分析結(jié)果不準(zhǔn)確。數(shù)據(jù)集成將若干個(gè)分散的數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合中。
數(shù)據(jù)集成就是將若干個(gè)分散的數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合中。數(shù)據(jù)集成的核心任務(wù)是要將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起，使用戶能夠以透明的方式訪問這些數(shù)據(jù)源。集成是指維護(hù)數(shù)據(jù)源整體上的數(shù)據(jù)一致性、提高信息共享利用的效率；透明的方式是指用戶無需關(guān)心如何實(shí)現(xiàn)對異構(gòu)數(shù)據(jù)源數(shù)據(jù)的訪問，只關(guān)心以何種方式訪問何種數(shù)據(jù)。實(shí)現(xiàn)數(shù)據(jù)集成的系統(tǒng)稱作數(shù)據(jù)集成系統(tǒng)，它為用戶提供統(tǒng)一的數(shù)據(jù)源訪問接口，執(zhí)行用戶對數(shù)據(jù)源的訪問請求。
結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)
下面讓我們來了解一下數(shù)據(jù)都分為哪些結(jié)構(gòu)：
1、結(jié)構(gòu)化數(shù)據(jù)
簡單說就是數(shù)據(jù)庫，也稱作為行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲和管理。
2、半結(jié)構(gòu)化數(shù)據(jù)
非關(guān)系模型的、有基本固定結(jié)構(gòu)模式的數(shù)據(jù)，但和具有嚴(yán)格理論模型的關(guān)系數(shù)據(jù)庫的數(shù)據(jù)相比，更靈活。包含在兩個(gè)或多個(gè)數(shù)據(jù)庫中的數(shù)據(jù)。
半結(jié)構(gòu)化數(shù)據(jù)可以通過靈活的鍵值調(diào)整，獲取相應(yīng)信息，且數(shù)據(jù)的格式不固定，例如日志文件、XML文檔、JSON文檔、Email等。
3、非結(jié)構(gòu)化數(shù)據(jù)
非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括所有格式的辦公文檔、文本、圖片、各類報(bào)表、圖像和音頻/視頻信息等等。
為什么要做數(shù)據(jù)集成
⇒打破數(shù)據(jù)孤島，降低數(shù)據(jù)處理成本；
⇒減少數(shù)據(jù)處理時(shí)間，提高響應(yīng)速度；
⇒減少海量數(shù)據(jù)計(jì)算壓力導(dǎo)致數(shù)據(jù)遷移過程出現(xiàn)問題次數(shù)；
⇒提高項(xiàng)目整體數(shù)據(jù)質(zhì)量；
⇒高穩(wěn)定性:平臺采用集群架構(gòu)搭建，保證平臺功能穩(wěn)定，同時(shí)對集成場景進(jìn)行多方位的異常處理，保證接口運(yùn)行的穩(wěn)定，為企業(yè)提供穩(wěn)定的集成平臺。
⇒高性能性：TempoDF產(chǎn)品已驗(yàn)證在集群環(huán)境下MySQL至Hive遷移速度可達(dá)190000條/s、非結(jié)構(gòu)化文件FTP至HDFS遷移可達(dá)150~160M/s；
⇒流批一體：支持實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)集成；
⇒多模式：支持全量、增量等模式；
⇒可追溯：數(shù)據(jù)血緣可查詢、監(jiān)控預(yù)警等。
且跨系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)不一致，在進(jìn)行跨系統(tǒng)的數(shù)據(jù)打通、流程打通時(shí)問題顯著。
TempoDF數(shù)據(jù)集成價(jià)值
⇒企業(yè)多系統(tǒng)集成
企業(yè)的應(yīng)用系統(tǒng)多，不同的IT系統(tǒng)形成了信息孤島。
⇒多源異構(gòu)數(shù)據(jù)快速融合
來自多個(gè)數(shù)據(jù)源，不同的數(shù)據(jù)源所在的操作系統(tǒng)、管理系統(tǒng)不同，數(shù)據(jù)的存儲模式和邏輯結(jié)構(gòu)不同，數(shù)據(jù)的產(chǎn)生時(shí)間、使用場所、代碼協(xié)議等也不同.
Tempo DF平臺能夠提供成熟海量數(shù)據(jù)集成方案，完成海量數(shù)據(jù)分析決策第一步的產(chǎn)品。從此開發(fā)實(shí)施人員不必每日再為底層數(shù)據(jù)中斷異常而焦頭爛額，快速實(shí)現(xiàn)海量數(shù)據(jù)高效流轉(zhuǎn)，直接提升項(xiàng)目交付效率、解決企業(yè)海量數(shù)據(jù)集成難題，為用戶后續(xù)各項(xiàng)數(shù)據(jù)分析工作打好堅(jiān)實(shí)基礎(chǔ)。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
