數(shù)據(jù)分析應(yīng)用中數(shù)據(jù)采集的時效性與性能如何兼顧？
2022-08-10 15:32:53
次
李總：小王，這個企業(yè)生產(chǎn)看板為什么只統(tǒng)計到昨天的數(shù)據(jù)，今天的產(chǎn)量如何呢？
小王：李總，我們目前的數(shù)據(jù)同步是凌晨做數(shù)據(jù)同步，才能去獲取生產(chǎn)系統(tǒng)的數(shù)據(jù)，今天產(chǎn)量數(shù)據(jù)，需要明天才能查看呢。
李總：為什么不能實時同步刷新呢？這樣我們才能及時了解不同車間的生產(chǎn)進度，及時進行計劃安排和調(diào)整啊。
小王：……
數(shù)據(jù)工程師可能都知道，在數(shù)據(jù)分析應(yīng)用過程中，海量數(shù)據(jù)的分析計算及分析報告生成需要強大的算力支持，而數(shù)據(jù)ETL的時候也需要數(shù)小時才能完成，故而很多分析場景中，為了保證系統(tǒng)的穩(wěn)定運行，會犧牲一定的時效性。
但是在實際業(yè)務(wù)中，越好的時效性保證，越能盡快地發(fā)現(xiàn)問題并及時應(yīng)對。比如制造企業(yè)生產(chǎn)設(shè)備狀態(tài)監(jiān)測、健康預(yù)警，零售行業(yè)的門店交易情況等，面對這種時效性要求比較高的業(yè)務(wù)場景，在智能決策應(yīng)用中，如何保障數(shù)據(jù)的實時同步，且不影響當(dāng)前業(yè)務(wù)系統(tǒng)的運行呢？
這時候就需要變更數(shù)據(jù)捕獲(Change Data Capture，縮寫CDC)技術(shù)來支持。關(guān)于什么是CDC我們在前面的文章中有介紹過，感興趣的小伙伴可以點擊查看【什么是變化數(shù)據(jù)捕獲(CDC)？】
CDC的使用場景有哪些呢？
數(shù)據(jù)采集的核心問題，CDC都可以解決：
?數(shù)據(jù)分發(fā)：將一個數(shù)據(jù)源的數(shù)據(jù)分發(fā)給多個下游業(yè)務(wù)系統(tǒng)，常用于業(yè)務(wù)解耦、微服務(wù)系統(tǒng)。增強數(shù)據(jù)在企業(yè)內(nèi)部的流轉(zhuǎn)和應(yīng)用。
?數(shù)據(jù)采集：實時采集數(shù)據(jù)源變更數(shù)據(jù)，面向數(shù)據(jù)倉庫、數(shù)據(jù)湖的ETL數(shù)據(jù)集成，消除數(shù)據(jù)孤島，便于后續(xù)的分析。
?數(shù)據(jù)同步：通過日志快速獲取變更數(shù)據(jù)，并將數(shù)據(jù)流推送至目標(biāo)，常用于數(shù)據(jù)備份、容災(zāi)等，有效降低企業(yè)在數(shù)據(jù)備份中的投入成本。
CDC能力，TempoDF兩步即可獲取
?數(shù)據(jù)抓取與存儲，兩步就能搞定
Tempo數(shù)據(jù)工廠（簡稱TempoDF）是集海量數(shù)據(jù)集成、實時數(shù)據(jù)加工、離線數(shù)據(jù)處理、自定義組件擴展、一體化監(jiān)控運維五大核心功能的大數(shù)據(jù)開發(fā)平臺，為企業(yè)用戶降低了多源異構(gòu)數(shù)據(jù)的融合成本，賦能全鏈路數(shù)據(jù)開發(fā)，讓數(shù)據(jù)更好發(fā)揮其潛在價值。
在Tempo數(shù)據(jù)工廠平臺中，用戶可以通過拖拉拽的方式快速配置完成一個實時自助流程進行業(yè)務(wù)數(shù)據(jù)的CDC，并且可以進行后續(xù)的計算處理，最終將數(shù)據(jù)寫入目標(biāo)源中，如下圖所示：
△實時數(shù)據(jù)同步
△實時變更數(shù)據(jù)加工
?不只是ETL，還可以做數(shù)據(jù)清洗
結(jié)合TempoDF強大的處理引擎，不僅可以讓實時數(shù)據(jù)CDC業(yè)務(wù)流程操作變得更加快捷簡單，還可以根據(jù)業(yè)務(wù)需求，進行數(shù)據(jù)清洗、計算及指標(biāo)構(gòu)建，更好地滿足業(yè)務(wù)智能決策應(yīng)用。
Tempo數(shù)據(jù)工廠通過CDC技術(shù)可以實現(xiàn)在企業(yè)數(shù)據(jù)應(yīng)用時提高數(shù)據(jù)時效性、降低處理數(shù)據(jù)變更難度的目標(biāo)。目前已支持多個類型數(shù)據(jù)庫CDC輸入，切實解決了企業(yè)數(shù)據(jù)傳輸速率低下、數(shù)據(jù)處理難度大、多數(shù)據(jù)源集成困難等問題。
數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)價值化的意義重大，而如何基于業(yè)務(wù)應(yīng)用價值，構(gòu)建更好的數(shù)據(jù)中臺，賦能業(yè)務(wù)智能決策，需要更多類似CDC這樣的技術(shù)及應(yīng)用的加持，美林數(shù)據(jù)一直致力于為企業(yè)提供更好的數(shù)據(jù)管理與數(shù)據(jù)分析產(chǎn)品與技術(shù)服務(wù)。
如果您在數(shù)字化轉(zhuǎn)型、數(shù)據(jù)中臺建設(shè)、數(shù)據(jù)治理或者數(shù)據(jù)分析應(yīng)用的過程中，有任何的需求，都歡迎您與我們?nèi)〉寐?lián)系，美林數(shù)據(jù)愿與您共同攜手，用技術(shù)賦能企業(yè)數(shù)字化轉(zhuǎn)型升級！
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
