欧美40老熟妇色xxxxx,免费+国产+在线观看,末成年女a∨片一区二区,久久伊人色av天堂九九,免费中文熟妇在线影片

美林?jǐn)?shù)據(jù)
ABOUT US
美林?jǐn)?shù)據(jù)技術(shù)股份有限公司（簡(jiǎn)稱(chēng)：美林?jǐn)?shù)據(jù)，NEEQ：831546）是國(guó)內(nèi)知名的數(shù)據(jù)治理和數(shù)據(jù)分析服務(wù)提供商。

數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)概念解析

2021-05-26 17:56:48 次
這幾年的數(shù)據(jù)領(lǐng)域出現(xiàn)好多的概念，例如：人工智能、物聯(lián)網(wǎng)、邊緣計(jì)算、數(shù)據(jù)治理、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)……可謂是“百花齊放”！一時(shí)間大家都在提新概念，但卻不是所有人都清楚到底意味著什么。

“人家都數(shù)據(jù)中臺(tái)了，你還在做數(shù)據(jù)報(bào)表”
“人家都數(shù)據(jù)湖了，你還在搞數(shù)據(jù)倉(cāng)庫(kù)”“
阿里“拆中臺(tái)”了，中臺(tái)難道不香了”
……

到底為什么要做數(shù)據(jù)湖/數(shù)據(jù)中臺(tái)，有什么價(jià)值呢？孰優(yōu)孰劣？究竟我的公司是不是也要做數(shù)據(jù)中臺(tái)/數(shù)據(jù)湖嗎，這是隨之而來(lái)的問(wèn)題。

事物總是在不斷演化的，唯一不變的就是變化。今天就和大家展開(kāi)討論數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)這幾個(gè)概念之間的藕斷絲連。


01、數(shù)據(jù)倉(cāng)庫(kù)

1988年，為解決企業(yè)的數(shù)據(jù)集成問(wèn)題，IBM的兩位研究員創(chuàng)造性地提出了一個(gè)新的術(shù)語(yǔ)：數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）。到了1992年，后來(lái)被譽(yù)為“數(shù)據(jù)倉(cāng)庫(kù)之父”的比爾·恩門(mén)給出了數(shù)據(jù)倉(cāng)庫(kù)的定義，二十多年后的今天他的定義依然沒(méi)有被時(shí)代淘汰。我們來(lái)看看他是怎么定義的：

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理中的決策制定。

對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的概念我們可以從兩個(gè)層次予以理解：
首先，數(shù)據(jù)倉(cāng)庫(kù)用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù);
其次，數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。

簡(jiǎn)單的理解，其實(shí)就是為了進(jìn)行OLAP，把分布在各個(gè)散落獨(dú)立的數(shù)據(jù)庫(kù)孤島整合在了一個(gè)數(shù)據(jù)結(jié)構(gòu)里面，稱(chēng)之為數(shù)據(jù)倉(cāng)庫(kù)。
數(shù)據(jù)倉(cāng)庫(kù)邏輯架構(gòu)

數(shù)據(jù)倉(cāng)庫(kù)邏輯架構(gòu)

原來(lái)各個(gè)數(shù)據(jù)孤島中的數(shù)據(jù)，可能會(huì)在物理位置（比如沃爾瑪在各個(gè)州可能都有自己的數(shù)據(jù)中心）、存儲(chǔ)格式（比如月份是數(shù)值類(lèi)型，但但天氣可能是字符類(lèi)型）、商業(yè)平臺(tái)（不同數(shù)據(jù)庫(kù)可能用的是Oracle數(shù)據(jù)庫(kù)，有的是微軟SQL Server數(shù)據(jù)庫(kù)）、編寫(xiě)的語(yǔ)言（Java或者Scale等）等等各個(gè)方面完全不同，數(shù)據(jù)倉(cāng)庫(kù)要做的工作就是將他們按照所需要的格式提取出來(lái)，再進(jìn)行必要的轉(zhuǎn)換（統(tǒng)一數(shù)據(jù)格式）、清洗（去掉無(wú)效或者不需要的數(shù)據(jù)）等，最后裝載進(jìn)數(shù)據(jù)倉(cāng)庫(kù)。

自從數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)之后，信息產(chǎn)業(yè)就開(kāi)始從以關(guān)系型數(shù)據(jù)庫(kù)為基礎(chǔ)的運(yùn)營(yíng)式系統(tǒng)慢慢向決策支持系統(tǒng)發(fā)展。這個(gè)決策支持系統(tǒng)，其實(shí)就是我們現(xiàn)在說(shuō)的商務(wù)智能即BI?？梢赃@么說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)為OLAP解決了數(shù)據(jù)來(lái)源問(wèn)題，數(shù)據(jù)倉(cāng)庫(kù)和OLAP互相促進(jìn)發(fā)展，進(jìn)一步驅(qū)動(dòng)了商務(wù)智能的成熟。

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)功能概念，是將企業(yè)的各業(yè)務(wù)系統(tǒng)產(chǎn)生的基礎(chǔ)數(shù)據(jù)，通過(guò)維度建模的方式，將業(yè)務(wù)數(shù)據(jù)劃分為多個(gè)主題（集市）統(tǒng)一存儲(chǔ)，統(tǒng)一管理。

應(yīng)用場(chǎng)景：一般都是作為商業(yè)智能系統(tǒng)、數(shù)據(jù)儀表盤(pán)等可視化報(bào)表服務(wù)的數(shù)據(jù)源。

02、數(shù)據(jù)集市

數(shù)據(jù)倉(cāng)庫(kù)之父比爾·恩門(mén)說(shuō)過(guò)一句話(huà)叫“IT經(jīng)理們面對(duì)最重要的問(wèn)題就是到底先建立數(shù)據(jù)倉(cāng)庫(kù)還是先建立數(shù)據(jù)集市”，足以說(shuō)明搞清楚這兩者之間的關(guān)系是十分重要而迫切的。通常在考慮建立數(shù)據(jù)倉(cāng)庫(kù)之前，會(huì)涉及到如下一些問(wèn)題：
  • 采取自上而下還是自下而上的設(shè)計(jì)方法
  • 企業(yè)范圍還是部門(mén)范圍
  • 先建立數(shù)據(jù)倉(cāng)庫(kù)還是數(shù)據(jù)集市
  • 建立領(lǐng)航系統(tǒng)還是直接實(shí)施
  • 數(shù)據(jù)集市是否相互獨(dú)立

數(shù)據(jù)集市可以理解為是一種"小型數(shù)據(jù)倉(cāng)庫(kù)"，它只包含單個(gè)主題，且關(guān)注范圍也非全局。數(shù)據(jù)集市可以分為兩種:
一種是獨(dú)立數(shù)據(jù)集市，這類(lèi)數(shù)據(jù)集市有自己的源數(shù)據(jù)庫(kù)和ETL架構(gòu)；
另一種是非獨(dú)立數(shù)據(jù)集市，這種數(shù)據(jù)集市沒(méi)有自己的源系統(tǒng)，它的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)。當(dāng)用戶(hù)或者應(yīng)用程序不需要/不必要/不允許用到整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)，非獨(dú)立數(shù)據(jù)集市就可以簡(jiǎn)單為用戶(hù)提供一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的子集。

數(shù)據(jù)集市是一個(gè)結(jié)構(gòu)概念，它是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集，主要面向部門(mén)級(jí)業(yè)務(wù)，并且只面向某個(gè)特定的主題。

應(yīng)用場(chǎng)景：數(shù)據(jù)集市是數(shù)倉(cāng)之上更聚焦的業(yè)務(wù)主題合集，更偏向于應(yīng)對(duì)業(yè)務(wù)數(shù)據(jù)快速高效應(yīng)用的需求，一般用于商業(yè)智能系統(tǒng)中探索式和交互式數(shù)據(jù)分析應(yīng)用

03、數(shù)據(jù)湖

2010年，Pentaho首席技術(shù)官James Dixon創(chuàng)造了“數(shù)據(jù)湖”一詞。他把數(shù)據(jù)集市描述成一瓶清洗過(guò)的、包裝過(guò)的和結(jié)構(gòu)化易于使用的水。而數(shù)據(jù)湖更像是在自然狀態(tài)下的水，數(shù)據(jù)流從源系統(tǒng)流向這個(gè)湖。用戶(hù)可以在數(shù)據(jù)湖里校驗(yàn)，取樣或完全的使用數(shù)據(jù)。

這個(gè)也是一個(gè)不精確的定義。數(shù)據(jù)湖還有以下特點(diǎn)：
  • 從源系統(tǒng)導(dǎo)入所有的數(shù)據(jù)，沒(méi)有數(shù)據(jù)流失。
  • 數(shù)據(jù)存儲(chǔ)時(shí)沒(méi)有經(jīng)過(guò)轉(zhuǎn)換或只是簡(jiǎn)單的處理。
  • 數(shù)據(jù)轉(zhuǎn)換和定義schema 用于滿(mǎn)足分析需求。
數(shù)據(jù)湖

數(shù)據(jù)湖能給企業(yè)帶來(lái)多種能力，例如，能實(shí)現(xiàn)數(shù)據(jù)的集中式管理，在此之上，企業(yè)能挖掘出很多之前所不具備的能力。

另外，數(shù)據(jù)湖結(jié)合先進(jìn)的數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)技術(shù)，能幫助企業(yè)構(gòu)建更多優(yōu)化后的運(yùn)營(yíng)模型，也能為企業(yè)提供其他能力，如預(yù)測(cè)分析、推薦模型等，這些模型能刺激企業(yè)能力的后續(xù)增長(zhǎng)。
數(shù)據(jù)湖示意圖
數(shù)據(jù)湖示意圖

數(shù)據(jù)湖是一種數(shù)據(jù)存儲(chǔ)理念，存儲(chǔ)企業(yè)各種各樣的原始數(shù)據(jù)的大型倉(cāng)庫(kù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)、二進(jìn)制圖像、音頻、視頻等等。

應(yīng)用場(chǎng)景：以大數(shù)據(jù)技術(shù)為基礎(chǔ)有多樣化數(shù)據(jù)結(jié)構(gòu)海量大數(shù)據(jù)存儲(chǔ)需求，也可作為數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)集市的數(shù)據(jù)源。

04、數(shù)據(jù)中臺(tái)

數(shù)據(jù)中臺(tái)是指通過(guò)企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析，應(yīng)用，使數(shù)據(jù)對(duì)內(nèi)優(yōu)化管理提高業(yè)務(wù)，對(duì)外可以數(shù)據(jù)合作價(jià)值釋放，成為企業(yè)數(shù)據(jù)資產(chǎn)管理中樞。數(shù)據(jù)中臺(tái)建立后，會(huì)形成數(shù)據(jù)API，為企業(yè)和客戶(hù)提供高效各種數(shù)據(jù)服務(wù)。
數(shù)據(jù)中臺(tái)架構(gòu)圖
數(shù)據(jù)中臺(tái)架構(gòu)圖

數(shù)據(jù)中臺(tái)整體技術(shù)架構(gòu)上采用云計(jì)算架構(gòu)模式，將數(shù)據(jù)資源、計(jì)算資源、存儲(chǔ)資源充分云化，并通過(guò)多租戶(hù)技術(shù)進(jìn)行資源打包整合，并進(jìn)行開(kāi)放，為用戶(hù)提供“一站式”數(shù)據(jù)服務(wù)。

利用大數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)一采集、計(jì)算、存儲(chǔ)，并使用統(tǒng)一的數(shù)據(jù)規(guī)范進(jìn)行管理，將企業(yè)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標(biāo)準(zhǔn)化數(shù)據(jù)，挖掘出對(duì)企業(yè)最有價(jià)值的數(shù)據(jù)，構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫(kù)，提供一致的、高可用大數(shù)據(jù)服務(wù)。

數(shù)據(jù)中臺(tái)不是一套軟件，也不是一個(gè)信息系統(tǒng)，而是一系列數(shù)據(jù)組件的集合，企業(yè)基于自身的信息化建設(shè)基礎(chǔ)、數(shù)據(jù)基礎(chǔ)以及業(yè)務(wù)特點(diǎn)對(duì)數(shù)據(jù)中臺(tái)的能力進(jìn)行定義，基于能力定義利用數(shù)據(jù)組件搭建自己的數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)是一個(gè)邏輯概念，為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù)API，它包括了數(shù)據(jù)倉(cāng)庫(kù)，大數(shù)據(jù)、數(shù)據(jù)治理領(lǐng)域的內(nèi)容。

應(yīng)用場(chǎng)景：是將數(shù)據(jù)服務(wù)化提供給業(yè)務(wù)系統(tǒng)，目的是將數(shù)據(jù)能力滲透到業(yè)務(wù)各個(gè)環(huán)節(jié)，不限于決策分析。

05、各種概念對(duì)比

ODS VS 數(shù)據(jù)倉(cāng)庫(kù)  VS 數(shù)據(jù)集市

操作型數(shù)據(jù)庫(kù)（ODS）、數(shù)據(jù)倉(cāng)庫(kù)（DW或EDW）、數(shù)據(jù)集市（DM）是目前標(biāo)準(zhǔn)數(shù)倉(cāng)結(jié)構(gòu)的三個(gè)核心組件。
ODS VS 數(shù)據(jù)倉(cāng)庫(kù) VS 數(shù)據(jù)集市

ODS用作所有原始數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域，這些數(shù)據(jù)即將進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)處理。我們可以將其想象成倉(cāng)庫(kù)裝卸碼頭，貨物在此處交付、檢查和驗(yàn)證。在ODS中，數(shù)據(jù)在進(jìn)入倉(cāng)庫(kù)前可以被清理、檢查(因?yàn)槿哂嗄康?，也可檢查是否符合業(yè)務(wù)規(guī)則。在ODS中，我們可以對(duì)數(shù)據(jù)進(jìn)行查詢(xún)，但是數(shù)據(jù)是臨時(shí)的，因此它僅提供簡(jiǎn)單信息查詢(xún)，例如正在進(jìn)行的客戶(hù)訂單狀態(tài)。

數(shù)據(jù)集市通常是數(shù)據(jù)倉(cāng)庫(kù)的子集；它的數(shù)據(jù)通常來(lái)自數(shù)據(jù)倉(cāng)庫(kù)，盡管還可以來(lái)自其他來(lái)源。數(shù)據(jù)集市的數(shù)據(jù)專(zhuān)門(mén)針對(duì)特定的用戶(hù)(例如銷(xiāo)售團(tuán)隊(duì))，以便他們能夠快速找到所需的數(shù)據(jù)。通常，數(shù)據(jù)保存在那里用于特定用途，例如財(cái)務(wù)分析。

數(shù)據(jù)集市也比數(shù)據(jù)倉(cāng)庫(kù)小得多，它們可以容納數(shù)十千兆字節(jié)，相比之下，數(shù)據(jù)倉(cāng)庫(kù)可以存儲(chǔ)數(shù)百千兆字節(jié)到PB級(jí)數(shù)據(jù)，并可用于數(shù)據(jù)處理。數(shù)據(jù)集市可從現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)或其他數(shù)據(jù)源系統(tǒng)構(gòu)建，你只需設(shè)計(jì)和構(gòu)建數(shù)據(jù)庫(kù)表，使用相關(guān)數(shù)據(jù)填充數(shù)據(jù)庫(kù)表并決定誰(shuí)可以訪(fǎng)問(wèn)數(shù)據(jù)集即可。

數(shù)據(jù)倉(cāng)庫(kù) VS 數(shù)據(jù)湖

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖從存儲(chǔ)對(duì)象上來(lái)講，主要區(qū)別在于：
數(shù)據(jù)倉(cāng)庫(kù)則用于存儲(chǔ)來(lái)自多個(gè)來(lái)源的結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)湖的不同之處在于它可存儲(chǔ)非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù) VS 數(shù)據(jù)湖

數(shù)據(jù)倉(cāng)庫(kù) VS  數(shù)據(jù)湖 VS 數(shù)據(jù)中臺(tái)

大數(shù)據(jù)時(shí)代，數(shù)據(jù)量越來(lái)越多，數(shù)據(jù)形式日益復(fù)雜，而以數(shù)據(jù)倉(cāng)庫(kù)為代表的、現(xiàn)有的數(shù)據(jù)存儲(chǔ)和處理技術(shù)無(wú)法滿(mǎn)足海量、多樣的數(shù)據(jù)處理需求的背景下產(chǎn)生的。“數(shù)據(jù)湖”是將復(fù)雜的事物具象化，偏技術(shù)一些，以一個(gè)形象的名字，反應(yīng)了它在大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理方面的優(yōu)勢(shì)和能力。

數(shù)據(jù)湖作為一個(gè)集中的存儲(chǔ)庫(kù)，可以在其中存儲(chǔ)任何形式（結(jié)構(gòu)化和非結(jié)構(gòu)化）、任意規(guī)模的數(shù)據(jù)。在數(shù)據(jù)湖中，可以不對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，只有在使用數(shù)據(jù)的時(shí)候，再利用數(shù)據(jù)湖強(qiáng)大的大數(shù)據(jù)查詢(xún)、處理、分析等組件對(duì)數(shù)據(jù)進(jìn)行處理和應(yīng)用。因此，數(shù)據(jù)湖具備運(yùn)行不同類(lèi)型數(shù)據(jù)分析的能力。

數(shù)據(jù)中臺(tái)從技術(shù)的層面承接了數(shù)據(jù)湖的技術(shù)，通過(guò)數(shù)據(jù)技術(shù)，對(duì)海量、多源、多樣的數(shù)據(jù)進(jìn)行采集、處理、存儲(chǔ)、計(jì)算，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑，把數(shù)據(jù)統(tǒng)一之后，以標(biāo)準(zhǔn)形式存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，以滿(mǎn)足前臺(tái)數(shù)據(jù)分析和應(yīng)用的需求。數(shù)據(jù)中臺(tái)更強(qiáng)調(diào)應(yīng)用，離業(yè)務(wù)更近，強(qiáng)調(diào)服務(wù)于前臺(tái)的能力，實(shí)現(xiàn)邏輯、算法、標(biāo)簽、模型、數(shù)據(jù)資產(chǎn)的沉淀和復(fù)用，能更快速的相應(yīng)業(yè)務(wù)和應(yīng)用開(kāi)發(fā)的需求，可追溯，更精準(zhǔn)。
數(shù)據(jù)倉(cāng)庫(kù) VS 數(shù)據(jù)湖 VS 數(shù)據(jù)中臺(tái)


06、總結(jié)

根據(jù)以上數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)的概念論述和對(duì)比，我們進(jìn)行如下總結(jié)：
1、數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)ETL技術(shù)把原始數(shù)據(jù)進(jìn)一步加工處理，提高數(shù)據(jù)數(shù)據(jù)質(zhì)量，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，然后把數(shù)據(jù)再進(jìn)行分類(lèi)，就是主題的維度建模過(guò)程，將數(shù)據(jù)統(tǒng)一存儲(chǔ)與管理，為了滿(mǎn)足決策分析型需求。
2、數(shù)據(jù)湖就好比一個(gè)大型倉(cāng)庫(kù)，什么格式的數(shù)據(jù)都存儲(chǔ)，但只存原始數(shù)據(jù)。
3、數(shù)據(jù)中臺(tái)是將經(jīng)過(guò)數(shù)據(jù)治理的數(shù)據(jù)倉(cāng)庫(kù)或大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)，通過(guò)接口的方式直接服務(wù)于應(yīng)用系統(tǒng)。

那么所有這些企業(yè)都必須做嗎？
對(duì)企業(yè)來(lái)說(shuō)，選擇哪種平臺(tái)？答案是沒(méi)有最好，只有最合適，盤(pán)點(diǎn)下自己企業(yè)數(shù)據(jù)資產(chǎn)情況、數(shù)據(jù)服務(wù)的需求情況、數(shù)據(jù)治理的能力情況，再根據(jù)成熟度能力模型評(píng)估，正確定位自己。無(wú)論是建立數(shù)據(jù)倉(cāng)庫(kù)還是數(shù)據(jù)中臺(tái)都是以業(yè)務(wù)目標(biāo)為主，切莫盲目跟風(fēng)，沒(méi)有最好的技術(shù)，只有最合適的平臺(tái)。
服務(wù)熱線(xiàn)
400-608-2558
咨詢(xún)熱線(xiàn)
15502965860-
美林?jǐn)?shù)據(jù)
微信掃描二維碼，立即在線(xiàn)咨詢(xún)