工業(yè)大數(shù)據(jù)分析技術在實踐應用中的思路與方法（上篇）
2020-11-09 14:14:36
次
導讀：工業(yè)大數(shù)據(jù)即工業(yè)數(shù)據(jù)的總和，其來源主要包括企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)、“跨界”數(shù)據(jù)等，它是工業(yè)互聯(lián)網(wǎng)的核心，是智能制造的關鍵。工業(yè)大數(shù)據(jù)分析作為工業(yè)大數(shù)據(jù)的核心技術之一，是工業(yè)智能化發(fā)展的重要基礎和關鍵支撐。
本文將結合作者在工業(yè)領域多年的實踐應用經(jīng)驗，力圖對工業(yè)大數(shù)據(jù)分析技術的應用思路、方法和流程進行總結，旨在為企業(yè)開展大數(shù)據(jù)分析工作提供技術和業(yè)務上的借鑒。
在本文中我們將一起研討和思考：
- 工業(yè)大數(shù)據(jù)分析的特殊性；
- 工業(yè)大數(shù)據(jù)分析的困境及難點；
- 工業(yè)大數(shù)據(jù)分析的基本框架；
- 工業(yè)大數(shù)據(jù)分析該如何開展？
工業(yè)大數(shù)據(jù)分析是利用統(tǒng)計學分析技術、機器學習技術、信號處理技術等技術手段，結合業(yè)務知識對工業(yè)過程產(chǎn)生的數(shù)據(jù)進行處理、計算、分析并提取其中有價值的信息和規(guī)律的過程。從過程與目標角度看，工業(yè)大數(shù)據(jù)分析和傳統(tǒng)統(tǒng)計分析、商業(yè)智能分析涉及的學科和技術大同小異。但從分析理念和特點上看，工業(yè)大數(shù)據(jù)分析又有其自身的特殊性。
首先，進入大數(shù)據(jù)時代，數(shù)據(jù)的變化往往引發(fā)工作方法和價值體現(xiàn)的改變。對于數(shù)據(jù)的變化，非工業(yè)領域往往強調(diào)數(shù)量上的變化；但在工業(yè)領域，則更注重數(shù)據(jù)完整性和質(zhì)量的提升。工業(yè)現(xiàn)場往往對分析結果的精度、可靠度要求高，加之工業(yè)對象和過程本身也很復雜。因此，工業(yè)大數(shù)據(jù)分析方法的重點是通過數(shù)據(jù)條件的改善，結合相關分析技術的有效應用，得到質(zhì)量高的分析結果。
此外，工業(yè)場景的邊界往往都有專業(yè)領域的機理來約束。對于復雜的工業(yè)過程數(shù)據(jù)分析，往往不能僅局限于相關關系分析，需要強調(diào)工業(yè)領域業(yè)務知識和數(shù)據(jù)分析過程的深度融合；強調(diào)復雜業(yè)務問題簡化和分析結果的可解釋性，而不是簡單地追求數(shù)據(jù)量大與分析算法的復雜和先進性。一言以蔽之，工業(yè)大數(shù)據(jù)分析需要在工業(yè)具體業(yè)務要求的邊界下，用數(shù)據(jù)思維和數(shù)理邏輯去嚴格地定義問題，采用“數(shù)據(jù)驅(qū)動+機理模型”的雙輪驅(qū)動方式去精確表征、有效解決實際問題。
02 工業(yè)大數(shù)據(jù)分析的困境及難點
工業(yè)大數(shù)據(jù)分析的困境及難點主要體現(xiàn)在對工業(yè)對象（過程）理解和認知要求的高標準和一致性、工業(yè)大數(shù)據(jù)建模的復雜性和反復性、分析結果的可靠性和確定性三個方面。
第一. 工業(yè)大數(shù)據(jù)分析對數(shù)據(jù)分析人員的業(yè)務背景認知能力要求較高
數(shù)據(jù)分析師不能按照以往思路，對業(yè)務相關對象、數(shù)據(jù)情況初步摸底認知后就匆匆開展具體分析建模工作。而針對工業(yè)對象和過程的復雜系統(tǒng)，不同的場景下業(yè)務問題之間的關系往往會發(fā)生改變，加之數(shù)據(jù)缺失嚴重、噪聲大、業(yè)務含義代表性強等因素，理論體系下的數(shù)據(jù)分析相關理念與技術很難直接適用于此類場景的變化和復雜度要求。如若數(shù)據(jù)分析團隊對研究工業(yè)對象認識不夠深入或“片面性”理解，往往會導致分析出來的結果是只是證明了領域內(nèi)業(yè)務機理/常識的正確性或某一公認理念，就會經(jīng)常出現(xiàn)項目研究投入高、產(chǎn)出低的問題。
因此，工業(yè)大數(shù)據(jù)分析需堅持的原則是分析和應用都要結合具體的流程，分析工作開展前要保證數(shù)據(jù)條件符合業(yè)務場景要求。
第二. 工業(yè)大數(shù)據(jù)建模算法的復雜性和過程的反復性使得整個實現(xiàn)過程較為“繁瑣和曲折”
在開展工業(yè)建模時，雖然基礎算法原理和應用方式的變化不大，但運用此類算法的過程卻極大程度地“曲折”，往往需要結合業(yè)務知識和數(shù)據(jù)情況將算法嵌入到實際的工業(yè)應用場景與邏輯中去，需要模型基于初次的分析結果不斷地修正、迭代和完善，以此來提升模型的魯棒性與準確性。此外，工業(yè)過程數(shù)據(jù)形式的復雜性、數(shù)據(jù)質(zhì)量參差不齊等也使得工業(yè)大數(shù)據(jù)分析建模與有效應用的困難度加大。
第三. 工業(yè)產(chǎn)業(yè)模式及應用場景對工業(yè)大數(shù)據(jù)分析結果的可靠性和決策可指導性要求高，導致工業(yè)大數(shù)據(jù)分析應用的成熟化落地變得困難。
一般情況下，大多數(shù)企業(yè)的工業(yè)現(xiàn)場設備控制、工藝調(diào)整、質(zhì)量管控等都已處在相對優(yōu)良的階段，而通過工業(yè)數(shù)據(jù)分析得到的概率性結論和現(xiàn)場實際有一定的偏差。此偏差可能是生產(chǎn)環(huán)節(jié)本身引起的，也有可能是數(shù)據(jù)采集環(huán)節(jié)的數(shù)據(jù)本身失真引起的，單從數(shù)據(jù)分析結果角度往往很難發(fā)現(xiàn)和解釋具體差異引起的原因，導致大家對于分析結果的可靠性存疑。另一方面，企業(yè)業(yè)務人員對所從事的工業(yè)過程/經(jīng)營管理等業(yè)務的認識原本就相對深刻，這就要求工業(yè)大數(shù)據(jù)分析能剖析、給出更深層次的業(yè)務實情信息或優(yōu)化策略，只有分析得到的知識具有更高精度和可靠性時，從業(yè)務決策指導層面才具有實用價值，這也是工業(yè)大數(shù)據(jù)分析價值落地應用面臨的挑戰(zhàn)之一。
因此，工業(yè)領域的數(shù)據(jù)分析重點強調(diào)數(shù)據(jù)分析技術和領域知識融合來獲取有價值的知識。當模型涉及到的因素很多、形成真正的復雜多維度問題且機理不清晰時，且往往沒足夠的數(shù)據(jù)來建立和驗證模型，這時就需要充分利用專業(yè)領域知識進行“降維”，力求從有限的數(shù)據(jù)中分析出足夠可靠的結果。
我們在實踐中認識到工業(yè)大數(shù)據(jù)分析的瓶頸難點，往往不是計算機存儲和處理數(shù)據(jù)的能力，而是蘊含工業(yè)機理的數(shù)據(jù)關聯(lián)關系的復雜性。這種復雜性使得傳統(tǒng)的數(shù)據(jù)分析方法難以奏效，無法從數(shù)據(jù)中獲得質(zhì)量更高、價值更大的知識，如果沒有合適的思想和技術手段，面對工業(yè)大數(shù)據(jù)價值的藍海時，就會無從下手。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)資產(chǎn)管理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
大數(shù)據(jù)分析與應用
陜公網(wǎng)安備 61019002000171號
