Tempo大數(shù)據(jù)分析平臺之深度學習解析
2020-05-18 16:03:12
次
2006年，Hinton在頂級期刊《科學》提出深度學習的概念，深度學習的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，是一種多層深度學習結(jié)構(gòu)，深度學習通過組合低層特征形成更加抽象的高層表示類別屬性或特征，發(fā)現(xiàn)數(shù)據(jù)的分布特征。
隨著研究的深入，深度學習在圖像處理、語音識別、自然語言處理等領(lǐng)域取得突破性進展，落實的具體行業(yè)上，多采取多個領(lǐng)域的多模融合實現(xiàn)具體應用，比如，機器人助手，首先，需要圖像處理模塊和語音識別模塊把語音信息和圖像信息轉(zhuǎn)化為文字描述，實現(xiàn)助手洞察外部的視覺和語音，其次，需要專門的深度學習網(wǎng)絡(luò)實現(xiàn)基于語言的語義理解，給出外部反饋信息。
隨著科技研究的深入，深度學習技術(shù)在最近幾年得到快速的發(fā)展，引起行業(yè)學者的極度關(guān)注。然而，深度學習對新入該領(lǐng)域的人來說門檻很高，基于此Tempo3.0為降低深度學習使用困惑集成了深度學習，平臺深度學習建模提供兩種方式：
- 面向無編程基礎(chǔ)的業(yè)務(wù)人員，可以基于平臺的深度學習模型集成節(jié)點（DNN、RNN）等進行深度學習建模；
- 面向具備編程基礎(chǔ)業(yè)務(wù)人員（具備Python編程基礎(chǔ)），可以基于平臺的深TensorFlow腳本節(jié)點進行深度學習建模；
TensorFlow腳本節(jié)點
1.1.TensorFlow簡介
隨著深度學習在圖像處理、語音識別、自然語言處理等領(lǐng)域取得突破性進展，深度學習編程框架也如火如荼的急速發(fā)展，其中，2015年11月9日，Google發(fā)布人工智能系統(tǒng)TensorFlow并宣布開源，得到深度學習領(lǐng)域的推崇。
TensorFlow™ 是一個采用數(shù)據(jù)流圖的方式用于數(shù)值計算的通用計算框架，能夠快速實現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）等的深度學習工具, 能夠靈活的架構(gòu)在多種平臺，很方便的實現(xiàn)在CPU\GPU間的無縫切換。其中，數(shù)據(jù)流圖是用結(jié)點和線的有向圖來描述數(shù)學計算，節(jié)點（Nodes）表示數(shù)學操作，線（edges）表示在節(jié)點間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。
TensorFlow作為深度學習的通用編程計算框架，具備豐富的深度學習建模工具API接口，能夠方便快速的實現(xiàn)DNN、CNN、RNN、LSTM、DBN等深度學習模型，此外，也可用于其他線性或非線性組合建模應用，進而實現(xiàn)圖像處理、語音識別、自然語言處理等相關(guān)領(lǐng)域場景化應用。
1.2.TensorFlow on Spark
源生態(tài)TensorFlow存在諸多使用上不便的問題：資源利用和管理方面，資源利用不易管理，需手動配置資源，沒有集群資源管理和調(diào)度，集群資源負載不均，作業(yè)缺乏統(tǒng)一管理，不便對作業(yè)運行狀態(tài)跟蹤；數(shù)據(jù)管理方面，數(shù)據(jù)管理困難，訓練數(shù)據(jù)需手動分發(fā)，訓練模型需手動保存本地，此外，日志查看不方便；進程管理方面，進程遺留，需手動處理進程關(guān)閉。
TensorFlow on Spark解決了以上存在的問題，實現(xiàn)數(shù)據(jù)基于Spark RDD進行分布式分發(fā)，模型保存到HDFS分布式文件系統(tǒng)中，詳細功能如下表所示。
1.3.TensorFlow在Tempo3.0集成應用
Tempo大數(shù)據(jù)分析平臺將TensorFlow嵌入到挖掘流程中，實現(xiàn)TensorFlow節(jié)點和平臺其他節(jié)點無縫融合，同時規(guī)避了源生態(tài)TensorFlow存在諸多使用上不便的問題。
TensorFlow在Tempo3.0挖掘流程中執(zhí)行過程如下：
- 上游節(jié)點將數(shù)據(jù)處理完畢后，數(shù)據(jù)寫入HDFS分布式文件系統(tǒng)中，將文件路徑傳入TensorFlow節(jié)點，TensorFlow腳本節(jié)點啟動進程通過PySpark提交Spark作業(yè)，挖掘流程主進程駐留，并對TensorFlow腳本進程進行監(jiān)聽；
- 由PySpark啟動TensorFlow集群和相關(guān)服務(wù)（TensorBoard等），讀取數(shù)據(jù)并分發(fā)到TensorFlow集群各節(jié)點進行作業(yè)處理，處理的數(shù)據(jù)輸出到HDFS分布式文件系統(tǒng)中，結(jié)束TensorFlow進程；
- 挖掘流程主進程監(jiān)聽到TensorFlow進程結(jié)束后，從HDFS分布式文件系統(tǒng)中讀取TensorFlow輸出的數(shù)據(jù)，接著進入下面的作業(yè)流程。
1.4.TensorFlow腳本應用
（1）挖掘流程界面
TensorFlow腳本在挖掘分析過程中可以和平臺其他挖掘分析節(jié)點無縫對接，其挖掘流程若下圖所示：
在流執(zhí)行過程中，流程日志會輸出“TF Spark作業(yè)流程ID”和“TensorBoard服務(wù)地址”，根據(jù)“TF Spark作業(yè)流程ID”可以查看集群的資源調(diào)度情況以及跟蹤TF作業(yè)狀態(tài)，查看TF集群作業(yè)日志信息。
作業(yè)會基于HDFS模型路徑自動啟動TensorBoard服務(wù)，實現(xiàn)對TF作業(yè)過程進行時時建模洞察，雖則TF作業(yè)結(jié)束，TensorBoard服務(wù)也會終止以防服務(wù)駐留對集群資源的過度占用。
（2）腳本參數(shù)界面
TensorFlow腳本參數(shù)界面如下圖所示，界面分三個功能Tab頁：代碼編輯、集群參數(shù)、路徑配置。
代碼編輯頁是用戶編碼建模界面，左面為可引用建模變量詳細說明，右邊為代碼編輯區(qū)。TensorFlow程序通常被組織成一個構(gòu)建階段和一個執(zhí)行階段. 在構(gòu)建階段，執(zhí)行步驟被描述成一個圖；在執(zhí)行階段，使用會話執(zhí)行圖中的操作。用戶基于Tempo完成深度學習建模需實現(xiàn)以下兩種函數(shù)接口build_graph和process_step，build_graph為構(gòu)建圖函數(shù)接口，process_step為使用會話執(zhí)行圖中的操作函數(shù)接口。
集群參數(shù)為深度學習建模過程中TensorFlow集群配置和模型訓練配置界面，可以配置集群參數(shù)服務(wù)器、執(zhí)行器個數(shù)即執(zhí)行器內(nèi)存，模型訓練中的模型名稱、數(shù)據(jù)批大小、迭代次數(shù)等；路徑配置為TensorFlow集群部署環(huán)境配置界面。
模型集成節(jié)點
模型集成節(jié)點以參數(shù)界面配置的方式實現(xiàn)深度學習建模，模型集成節(jié)點幫助用戶快速高效的進行深度學習建模，而不要求用戶具備編碼基礎(chǔ)，僅需用戶具備一定的深度學習基本原理知識。平臺規(guī)劃集成DNN、RNN、LSTM、CNN等常用深度學習模型實現(xiàn)分類、回歸、時間序列等業(yè)務(wù)場景。
目前，平臺集成了DNN分類、DNN回歸、LSTM回歸的深度學習模型集成，其中,以DNN回歸為例介紹深度學習模型集成節(jié)點的使用，其他節(jié)點使用模式相似。下圖為DNN回歸建模參數(shù)界面：
數(shù)據(jù)預處理：基于數(shù)據(jù)標準化方法實現(xiàn)數(shù)據(jù)預處理，提高建模的效率和精度；
網(wǎng)絡(luò)機構(gòu)：支持配置DNN網(wǎng)絡(luò)結(jié)構(gòu)如：隱層個數(shù)、隱層神經(jīng)元個數(shù)、激活函數(shù)、輸出層函數(shù)；
模型訓練：支持配置DNN模型網(wǎng)絡(luò)空間初始權(quán)重初始化方式、參數(shù)尋優(yōu)方法、正則化參數(shù)、模型訓練次數(shù)、學習速率、最小批樣本個數(shù)；
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)資產(chǎn)管理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
大數(shù)據(jù)分析與應用
陜公網(wǎng)安備 61019002000171號
