掌握這些數(shù)據(jù)過濾的技巧，讓數(shù)據(jù)分析更高效！
2023-04-04 15:37:00
次
隨著互聯(lián)網(wǎng)的飛速發(fā)展，呈爆炸式增長的數(shù)據(jù)使用戶逐漸迷失在了信息的海洋之中，在進(jìn)行數(shù)據(jù)分析時(shí)，海量的業(yè)務(wù)數(shù)據(jù)往往會(huì)帶來一些問題：
準(zhǔn)確性差：無效數(shù)據(jù)以及無需進(jìn)行分析的數(shù)據(jù)混雜在其中，導(dǎo)致分析結(jié)果與實(shí)際偏差較大；
效率低：分析無用數(shù)據(jù)會(huì)帶來時(shí)間浪費(fèi)、降低分析效率；
成本高：大量數(shù)據(jù)往往需要投入巨大的人力和時(shí)間成本。
想要解決這些問題，其中一個(gè)很重要的方式就是「數(shù)據(jù)過濾」，數(shù)據(jù)過濾可以對(duì)數(shù)據(jù)進(jìn)行指定條件的識(shí)別和篩選，從而提升數(shù)據(jù)質(zhì)量，為后續(xù)的數(shù)據(jù)分析提供有效數(shù)據(jù)。
明白了數(shù)據(jù)過濾的重要性之后，那有什么可以高效進(jìn)行數(shù)據(jù)過濾的方法嗎？數(shù)據(jù)過濾主要分為行過濾和列過濾，今天就以Tempo 人工智能平臺(tái)為例，來大家一起來看一下具體的操作。
行過濾
01、比較運(yùn)算符
可通過數(shù)據(jù)過濾節(jié)點(diǎn)根據(jù)用戶設(shè)置條件完成行數(shù)據(jù)的過濾和篩選。
02、邏輯運(yùn)算符
?可通過過程查詢分析器節(jié)點(diǎn)根據(jù)指定的條件從接入的數(shù)據(jù)表中提取數(shù)據(jù)，通過配置過濾條件，完成數(shù)據(jù)過濾操作；
?首先使用關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)和過程查詢分析器節(jié)點(diǎn)構(gòu)建流程；
?通過關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)上傳全國銷售訂單數(shù)據(jù)集；
?通過過程查詢分析器節(jié)點(diǎn)數(shù)據(jù)選擇頁簽選擇全國銷售訂單數(shù)據(jù)集選擇所需要的數(shù)據(jù)；
?通過過程查詢分析器節(jié)點(diǎn)數(shù)據(jù)過濾頁簽配置過濾條件以及且/或關(guān)系，比如要實(shí)現(xiàn)利潤大于50的同時(shí)訂單數(shù)量大于30的情況。流程執(zhí)行成功后，在洞察查看運(yùn)行結(jié)果。
Tempo人工智能平臺(tái)，如何進(jìn)行邏輯運(yùn)算符過濾
03、通配符
剛才講解的條件過濾都是對(duì)已知值進(jìn)行的過濾，還有一種情況是我們要檢索文本中包含某個(gè)詞的所有數(shù)據(jù)，這里就需要使用通配符。通配符就是我們用來匹配值一部分的特殊字符。
?首先使用關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)和數(shù)據(jù)過濾節(jié)點(diǎn)構(gòu)建流程；
?通過關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)上傳全國銷售訂單數(shù)據(jù)集；
?通過數(shù)據(jù)過濾節(jié)點(diǎn)配置過濾條件對(duì)包含值進(jìn)行識(shí)別，選擇保留滿足以下全部條件的數(shù)據(jù)，比如過濾出數(shù)據(jù)中顧客姓名包含張的數(shù)據(jù)；
?流程執(zhí)行成功后，在洞察查看運(yùn)行結(jié)果。
Tempo人工智能平臺(tái)，如何進(jìn)行通配符過濾
04、高級(jí)數(shù)據(jù)過濾
1）字段與字段
高級(jí)數(shù)據(jù)過濾可分為字段與字段、去重、單類別個(gè)數(shù)/占比、參數(shù)過濾以及擴(kuò)展方式。
可通過數(shù)據(jù)過濾節(jié)點(diǎn)實(shí)現(xiàn)多個(gè)字段間進(jìn)行查詢過濾條件
?首先使用關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)和數(shù)據(jù)過濾節(jié)點(diǎn)構(gòu)建流程；
?通過關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)上傳全國銷售訂單數(shù)據(jù)集；
?通過數(shù)據(jù)過濾節(jié)點(diǎn)進(jìn)行條件配置，完成字段與字段間過濾，比如過濾出利潤大于運(yùn)輸成本的數(shù)據(jù)；
?流程執(zhí)行成功后，在洞察查看運(yùn)行結(jié)果。
Tempo人工智能平臺(tái)，如何進(jìn)行多個(gè)字段間的過濾
2）數(shù)據(jù)去重
可通過數(shù)據(jù)去重節(jié)點(diǎn)實(shí)現(xiàn)支持用戶根據(jù)指定的方式對(duì)數(shù)據(jù)集的重復(fù)行進(jìn)行處理。支持兩種去重方式：
?去掉所有列的完全重復(fù)數(shù)據(jù)；
?隨機(jī)保留一行和去掉指定列的完全重復(fù)數(shù)據(jù)。
3）單類別個(gè)數(shù)/占比
可通過數(shù)據(jù)過濾節(jié)點(diǎn)實(shí)現(xiàn)用戶對(duì)數(shù)據(jù)中的某個(gè)字段的取值個(gè)數(shù)或占比進(jìn)行計(jì)算，并根據(jù)實(shí)際業(yè)務(wù)過濾掉所對(duì)應(yīng)行。
4）參數(shù)過濾
參數(shù)過濾可通過過程查詢分析器節(jié)點(diǎn)從接入的數(shù)據(jù)表中提取數(shù)據(jù)，根據(jù)配置參數(shù)，從數(shù)據(jù)表中進(jìn)行數(shù)據(jù)過濾操作。
?首先使用關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)和過程查詢分析器節(jié)點(diǎn)構(gòu)建流程；
?點(diǎn)擊設(shè)置，在流程參數(shù)配置頁簽根據(jù)所需篩選條件進(jìn)行參數(shù)配置；
?通過關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)上傳全國銷售訂單數(shù)據(jù)集；
?通過過程查詢分析器節(jié)點(diǎn)數(shù)據(jù)選擇頁簽選擇全國銷售訂單數(shù)據(jù)集選擇所需要的數(shù)據(jù)；
?通過過程查詢分析器節(jié)點(diǎn)數(shù)據(jù)過濾頁簽配置過濾條件選擇根據(jù)參數(shù)進(jìn)行過濾；
?流程執(zhí)行成功后，在洞察查看運(yùn)行結(jié)果。
Tempo人工智能平臺(tái)，如何進(jìn)行參數(shù)過濾
5）擴(kuò)展方式
我們還可通過SQL編輯節(jié)點(diǎn)、計(jì)算列、python編程節(jié)點(diǎn)等方式進(jìn)行數(shù)據(jù)過濾操作。
平臺(tái)中的計(jì)算列內(nèi)置了多種函數(shù)及邏輯處理語句可幫助我們進(jìn)行數(shù)據(jù)選擇、匯總組、過濾原始數(shù)據(jù)、過濾匯總數(shù)據(jù)、數(shù)據(jù)排序操作。
?首先使用關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)和過程查詢分析器節(jié)點(diǎn)構(gòu)建流程；
?通過關(guān)系數(shù)據(jù)庫輸入節(jié)點(diǎn)上傳全國銷售訂單數(shù)據(jù)集；
?點(diǎn)擊計(jì)算列，輸入列名及對(duì)應(yīng)表達(dá)式進(jìn)行操作。
Tempo人工智能平臺(tái)，如何通過擴(kuò)展方式進(jìn)行過濾
列過濾
01、基于業(yè)務(wù)過濾
在實(shí)際應(yīng)用中，根據(jù)業(yè)務(wù)情況我們可能還需要查詢大于某個(gè)值或不等于某個(gè)值的條件，通過勾選滿足條件的記錄數(shù)的方式篩選數(shù)據(jù)，可通過數(shù)據(jù)過濾節(jié)點(diǎn)進(jìn)行過濾操作。還可以 基于業(yè)務(wù)的列過濾需要根據(jù)業(yè)務(wù)情況，過濾掉與后續(xù)建?；蚍治鰺o關(guān)的列。
02、基于模型過濾
使用統(tǒng)計(jì)方法識(shí)別數(shù)據(jù)特征，基于識(shí)別特征情況進(jìn)行數(shù)據(jù)列過濾。比如說預(yù)測設(shè)備是否發(fā)生故障與維修人員的姓名無關(guān)，在建模初期就將維修人員字段過濾。
AI支持通過屬性過濾節(jié)點(diǎn)讀取描述數(shù)據(jù)特征、woe編碼、變量選擇和相關(guān)系數(shù)輸出的模型，并通過不同的過濾條件添加字段，從而實(shí)現(xiàn)列過濾操作。
這里我們以描述數(shù)據(jù)特征模型進(jìn)行說明。使用bankloan數(shù)據(jù)集進(jìn)行描述數(shù)據(jù)，并將模型進(jìn)行保存。
?首先使用樣例數(shù)據(jù)節(jié)點(diǎn)和屬性過濾節(jié)點(diǎn)構(gòu)建流程；
?通過樣例數(shù)據(jù)節(jié)點(diǎn)上傳bankloan_Classification；
?雙擊屬性過濾節(jié)點(diǎn)，選擇基于模型選變量；
?選擇模型并進(jìn)行篩選配置，篩選出缺失值占比等于0的字段；
?流程執(zhí)行成功后，在洞察查看運(yùn)行結(jié)果。
Tempo人工智能平臺(tái)，如何基于模型過濾
03、高級(jí)過濾
除了支持基于業(yè)務(wù)和基于模型的列過濾方法之外，我們還支持缺失值處理、自動(dòng)數(shù)據(jù)處理、SQL編輯節(jié)點(diǎn)等其他方式進(jìn)行數(shù)據(jù)列的過濾操作。
總結(jié)：
Tempo人工智能平臺(tái)作為一款通用的、企業(yè)級(jí)、智能化的數(shù)據(jù)分析模型構(gòu)建與數(shù)據(jù)應(yīng)用場景設(shè)計(jì)工具，內(nèi)置了豐富的數(shù)據(jù)處理節(jié)點(diǎn)，支持行、列和高級(jí)等近30余種數(shù)據(jù)預(yù)處理方法，讓用戶能夠靈活地運(yùn)用多種處理手段對(duì)數(shù)據(jù)進(jìn)行過濾處理，為挖掘分析做好準(zhǔn)備。
Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo指標(biāo)平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號(hào)
