數(shù)據(jù)開發(fā)任務(wù)調(diào)度難、后期運(yùn)維復(fù)雜、效率低？美林?jǐn)?shù)據(jù)調(diào)度編排來幫你！
2023-03-28 14:45:00
次
某零售集團(tuán)的數(shù)據(jù)智能團(tuán)隊(duì)，隨著集團(tuán)業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)中的數(shù)據(jù)體量日益增加，來自業(yè)務(wù)部門的數(shù)據(jù)類需求不斷涌現(xiàn)，深層次數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)建模需求日益明顯。
在項(xiàng)目建設(shè)過程中，客戶基于Tempo數(shù)據(jù)工廠做了大量的集成開發(fā)任務(wù)，基于Tempo機(jī)器學(xué)習(xí)平臺做了大量的經(jīng)營決策模型，如何實(shí)現(xiàn)此類任務(wù)的智能化的調(diào)度，保障數(shù)據(jù)準(zhǔn)確、及時地更新，成了核心需要解決的問題。
一、業(yè)務(wù)痛點(diǎn)
傳統(tǒng)的數(shù)據(jù)開發(fā)任務(wù)調(diào)度執(zhí)行方式，主要分為3種：人工調(diào)度，基于sql、java、python等編程語言開發(fā)的定時調(diào)度腳本、ETL工具調(diào)度。
這3種調(diào)度方式主要存在的問題如下：
01、人工調(diào)度：需要開發(fā)人員對業(yè)務(wù)流程、開發(fā)流程高度熟悉，運(yùn)維的難度高、成本大、準(zhǔn)確率低。
02、腳本調(diào)度：通過代碼進(jìn)行編排，難度較大，缺乏任務(wù)監(jiān)控、出錯重試、補(bǔ)錄等機(jī)制。
03、ETL調(diào)度：各任務(wù)節(jié)點(diǎn)通過并行、串行的方式進(jìn)行編排，一方面無法充分使用系統(tǒng)資源，另一方面無法支持?jǐn)帱c(diǎn)續(xù)跑。
傳統(tǒng)的方法無法高效解決任務(wù)調(diào)度的問題，該如何破局呢？來看看美林?jǐn)?shù)據(jù)的解決思路。
二、解決思路
在實(shí)際生產(chǎn)中，一個好用的調(diào)度系統(tǒng)需要兼顧準(zhǔn)確性、及時性和安全性。
準(zhǔn)確性：要在正確的時間點(diǎn)啟動正確的作業(yè)，確保作業(yè)按照正確的依賴關(guān)系及時準(zhǔn)確地執(zhí)行；
及時性：要實(shí)現(xiàn)合理調(diào)度系統(tǒng)資源，確保任務(wù)能夠及時執(zhí)行完成，保障業(yè)務(wù)正常開展；
安全性：當(dāng)遭遇網(wǎng)絡(luò)或業(yè)務(wù)系統(tǒng)故障時，要具備完善的監(jiān)控日志查看、數(shù)據(jù)補(bǔ)錄、數(shù)據(jù)重跑等機(jī)制，保障數(shù)據(jù)安全。
基于以上思路，美林?jǐn)?shù)據(jù)專家團(tuán)隊(duì)結(jié)合該集團(tuán)實(shí)際業(yè)務(wù)情況，為其定制了一套數(shù)據(jù)加工鏈路的標(biāo)準(zhǔn)流程，將每個階段的數(shù)據(jù)進(jìn)行高效抽取，并為后續(xù)的可視化分析、數(shù)據(jù)建模提供賦能，從而滿足數(shù)據(jù)智能團(tuán)隊(duì)統(tǒng)一數(shù)據(jù)管理、快速支撐業(yè)務(wù)的需求。
△某集團(tuán)的加工鏈路標(biāo)準(zhǔn)流程圖
三、Tempo SA調(diào)度編排智能解決方案
Tempo SA調(diào)度編排智能解決方案是一款統(tǒng)一管理系統(tǒng)調(diào)度任務(wù)的自動化方案，主要包含可視化的調(diào)度中心、任務(wù)管理、周期實(shí)例的重跑、補(bǔ)數(shù)據(jù)等實(shí)例運(yùn)維模塊。能夠?qū)崿F(xiàn)調(diào)度復(fù)雜編排和監(jiān)控，通過可視化配置、高容錯、可修補(bǔ)等功能重點(diǎn)解決數(shù)據(jù)加工處理、數(shù)倉建設(shè)等業(yè)務(wù)場景中調(diào)度編排問題。
01、統(tǒng)一的任務(wù)管理能力
在Tempo調(diào)度編排調(diào)度中心，可以按照項(xiàng)目、業(yè)務(wù)流、文件夾等方式開展調(diào)度任務(wù)，通過樹形結(jié)構(gòu)對Tempo 數(shù)據(jù)工廠的數(shù)據(jù)開發(fā)任務(wù)、Tempo人工智能平臺的建模任務(wù)進(jìn)行管理。以某集團(tuán)的數(shù)據(jù)倉庫項(xiàng)目建設(shè)為例，我們按照銷售業(yè)務(wù)、倉儲業(yè)務(wù)、物流業(yè)務(wù)對任務(wù)主題進(jìn)行劃分，再按照數(shù)倉分層情況，就能實(shí)現(xiàn)對任務(wù)的分類管理。
02、自動化調(diào)度能力
在Tempo調(diào)度編排調(diào)度中心的流程配置模塊，可根據(jù)業(yè)務(wù)需求按周期定時定點(diǎn)開啟任務(wù)調(diào)度，同時可以設(shè)置任務(wù)生效的時間范圍，通過這種配置方式實(shí)現(xiàn)程序的自動化調(diào)度，還能通過配置流程出錯重試次數(shù)，提升調(diào)度程序的容錯性。
此外，Tempo調(diào)度編排支持配置各任務(wù)間的依賴關(guān)系，保障任務(wù)按照業(yè)務(wù)流程執(zhí)行，保障我們的數(shù)據(jù)質(zhì)量，無依賴關(guān)系的任務(wù)間相互獨(dú)立，充分調(diào)度系統(tǒng)資源，提升整體調(diào)度的執(zhí)行效率。
03、運(yùn)維監(jiān)控、數(shù)據(jù)補(bǔ)錄能力
Tempo調(diào)度編排能夠通過可視化界面實(shí)時監(jiān)控任務(wù)運(yùn)行情況，支持查看執(zhí)行記錄的統(tǒng)計(jì)和任務(wù)運(yùn)行日志等操作。
當(dāng)運(yùn)維人員發(fā)現(xiàn)任務(wù)執(zhí)行失敗后，可以用過平臺進(jìn)行數(shù)據(jù)補(bǔ)數(shù)據(jù)，補(bǔ)數(shù)據(jù)操作可以從執(zhí)行失敗的流程節(jié)點(diǎn)開始，并執(zhí)行有依賴關(guān)系的全部下游任務(wù)，實(shí)現(xiàn)任務(wù)的斷點(diǎn)續(xù)跑功能，降低了數(shù)據(jù)補(bǔ)錄的操作難度，縮短了整體數(shù)據(jù)補(bǔ)錄時間。
04、多場景混合編排能力
在Tempo產(chǎn)品體系下，可通過Tempo數(shù)據(jù)工廠實(shí)現(xiàn)數(shù)據(jù)開發(fā)、指標(biāo)開發(fā)、通過Tempo人工智能平臺實(shí)現(xiàn)數(shù)據(jù)建模等流程混合編排調(diào)度。
在Tempo SA調(diào)度編排智能解決方案的助力下，該集團(tuán)高效地解決了數(shù)據(jù)加工處理、數(shù)倉建設(shè)等業(yè)務(wù)場景中調(diào)度編排問題，提升了企業(yè)數(shù)據(jù)質(zhì)量和業(yè)務(wù)需求開發(fā)效率，為企業(yè)經(jīng)營決策分析賦能。
小T總結(jié)
Tempo調(diào)度編排簡易操作的可視化作界面，極大降低使用門檻；
實(shí)時監(jiān)控任務(wù)運(yùn)行，操作日志可追溯，大幅提升了安全性；
自動化調(diào)度、任務(wù)依賴關(guān)系配置、補(bǔ)數(shù)據(jù)等功能，有效降低了運(yùn)維的難度及成本。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標(biāo)平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
