工業(yè)大數(shù)據(jù)分析 | 淺談工業(yè)數(shù)據(jù)獲取與解析
2022-10-20 17:55:00
次
01 為什么關(guān)心工業(yè)數(shù)據(jù)的獲取與解析問(wèn)題？
簡(jiǎn)單來(lái)說(shuō)，是由于工業(yè)數(shù)據(jù)的來(lái)源、分類、特性、數(shù)據(jù)結(jié)構(gòu)以及通信協(xié)議等諸多方面都具有多樣性，且此類多樣性影響著工業(yè)數(shù)據(jù)的獲取，進(jìn)而影響到后續(xù)圍繞工業(yè)數(shù)據(jù)管理與綜合利用的各類系統(tǒng)的規(guī)劃與構(gòu)建。
智能制造技術(shù)體系中所需要的人工智能技術(shù)，以及基于數(shù)據(jù)驅(qū)動(dòng)構(gòu)建模型的理念等為包括柔性制造、精益制造以及故障預(yù)測(cè)與健康管理（PHM）等在內(nèi)的多類工業(yè)應(yīng)用軟件提供了新的發(fā)展方向，并產(chǎn)生了包括數(shù)字孿生（DT）、信息物理系統(tǒng)（CPS)等多種新興量化深度融合成果。但不難發(fā)現(xiàn)，以上應(yīng)用均基于對(duì)工業(yè)現(xiàn)場(chǎng)信息的深度感知：通過(guò)與傳感器、PLC控制器以及嵌入式系統(tǒng)等實(shí)體通信，獲取設(shè)備的實(shí)時(shí)運(yùn)行狀態(tài)，進(jìn)而開(kāi)展數(shù)據(jù)內(nèi)涵的深度分析應(yīng)用，從數(shù)字化應(yīng)用角度講，這就是工業(yè)數(shù)據(jù)的獲取與解析過(guò)程。
但工業(yè)制造現(xiàn)場(chǎng)實(shí)際狀況卻并非如此。在包括機(jī)加、鈑金、焊接、輥彎、裝配等制造過(guò)程以及伴生的質(zhì)檢、型架定位、工裝輔助、物流配送、試驗(yàn)驗(yàn)證中使用了大量手動(dòng)、半自動(dòng)以及自動(dòng)化生產(chǎn)設(shè)備，此類設(shè)備的生產(chǎn)廠家、采購(gòu)時(shí)間、應(yīng)用領(lǐng)域、遵循標(biāo)準(zhǔn)等往往并不相同，唯一相同的是各類設(shè)備的首要目標(biāo)都是完成各種生產(chǎn)制造任務(wù)，從IT和數(shù)據(jù)的角度往往忽視了對(duì)此類設(shè)備中存在數(shù)據(jù)的獲取進(jìn)行規(guī)范。基于這樣的工業(yè)生產(chǎn)實(shí)際，要求在特定的信息化任務(wù)中對(duì)其進(jìn)行改造升級(jí)或替換并不現(xiàn)實(shí)，更常見(jiàn)的做法是基于數(shù)字化轉(zhuǎn)型提升訴求，適應(yīng)生產(chǎn)實(shí)際調(diào)整軟件系統(tǒng)的數(shù)據(jù)接入能力。
綜合以上分析，在構(gòu)建面向工業(yè)領(lǐng)域的智能化系統(tǒng)時(shí)，我們需要對(duì)工業(yè)數(shù)據(jù)的獲取具備以下認(rèn)知：
?充分了解現(xiàn)場(chǎng)工業(yè)數(shù)據(jù)的多樣性，從而理解工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)狀況與理想數(shù)據(jù)狀態(tài)之間的差距，并以此在方案設(shè)計(jì)時(shí)做出調(diào)整措施。
? 務(wù)必動(dòng)手測(cè)試現(xiàn)場(chǎng)工業(yè)數(shù)據(jù)的連接與解析可行性，并查看實(shí)際數(shù)據(jù)情況，確保技術(shù)設(shè)計(jì)選型科學(xué)合理且落地可用。
?準(zhǔn)確評(píng)估數(shù)據(jù)連接工作的難度，根據(jù)業(yè)務(wù)需求估算連接現(xiàn)場(chǎng)工業(yè)數(shù)據(jù)所需的準(zhǔn)備工作難度與工作量，以供項(xiàng)目論證分析決策參考。
本文以下內(nèi)容基于上述分析進(jìn)一步展開(kāi)說(shuō)明。首先介紹工業(yè)數(shù)據(jù)的定義并討論其多樣性問(wèn)題，然后介紹工業(yè)數(shù)據(jù)的連接與解析，最后討論在開(kāi)發(fā)數(shù)據(jù)密集型工業(yè)系統(tǒng)時(shí)需考慮的核心方面。
02 什么是工業(yè)數(shù)據(jù)？
從概念上看，我們所討論的工業(yè)數(shù)據(jù)，是用于表達(dá)工業(yè)制造、試驗(yàn)、運(yùn)行過(guò)程中會(huì)隨時(shí)間、工況、操作條件等因素發(fā)生改變的，某種系統(tǒng)狀態(tài)的定量或定性數(shù)據(jù)。舉例來(lái)說(shuō)，工業(yè)數(shù)據(jù)包括設(shè)備的溫度、壓力、流量、加速度等隨時(shí)間變化的物理參量，以及系統(tǒng)監(jiān)控、告警、維護(hù)信息等。
既可以利用此類數(shù)據(jù)進(jìn)行面向工業(yè)領(lǐng)域的數(shù)據(jù)深度分析、智能模型開(kāi)發(fā)工作與決策可視展示，也可以將其提供給各類細(xì)分專業(yè)業(yè)務(wù)系統(tǒng)，對(duì)其進(jìn)行進(jìn)一步的利用。比如在數(shù)字物理系統(tǒng)中，采集到的外部載荷信息會(huì)通過(guò)仿真方法快速轉(zhuǎn)化為內(nèi)部關(guān)鍵設(shè)備的應(yīng)力分布、溫度場(chǎng)分布等結(jié)果，從而結(jié)合一定的優(yōu)化匹配方法實(shí)現(xiàn)對(duì)設(shè)備內(nèi)部運(yùn)行狀態(tài)的自動(dòng)控制、優(yōu)化控制。
1.工業(yè)數(shù)據(jù)的多樣性：
依據(jù)工業(yè)數(shù)據(jù)的多樣性，在技術(shù)研究與應(yīng)用場(chǎng)景中存在多種分類方法，下圖以工業(yè)信號(hào)數(shù)據(jù)為例給出示例，該示例同時(shí)給出了同樣的工業(yè)信號(hào)數(shù)據(jù)類型下，不同應(yīng)用情景下的信號(hào)數(shù)據(jù)之間存在的巨大差異。
△信號(hào)數(shù)據(jù)的分類
從IT角度，我們將工業(yè)數(shù)據(jù)分為實(shí)時(shí)數(shù)據(jù)流與靜態(tài)數(shù)據(jù)文件兩類。其中實(shí)時(shí)數(shù)據(jù)流直接來(lái)自工業(yè)現(xiàn)場(chǎng)，靜態(tài)數(shù)據(jù)文件是對(duì)不方便直接獲取的工業(yè)數(shù)據(jù)，以及過(guò)往數(shù)據(jù)的歷史記錄，兩類數(shù)據(jù)的獲取與解析分別存在需要重點(diǎn)關(guān)注的問(wèn)題。
2.工業(yè)實(shí)時(shí)數(shù)據(jù)流的獲取
工業(yè)實(shí)時(shí)數(shù)據(jù)獲取是對(duì)工業(yè)設(shè)備運(yùn)行狀態(tài)的實(shí)時(shí)感知，是PHM與數(shù)字孿生等系統(tǒng)構(gòu)建的基礎(chǔ)。如果制造側(cè)并未實(shí)現(xiàn)工業(yè)數(shù)據(jù)的獲取與匯總，則面向工業(yè)數(shù)據(jù)分析的信息化系統(tǒng)側(cè)就必須考慮該問(wèn)題，尋求將工業(yè)現(xiàn)場(chǎng)的數(shù)據(jù)實(shí)時(shí)有效采集至數(shù)據(jù)庫(kù)/消息服務(wù)器/緩存服務(wù)器。一般而言，需要充分識(shí)別待采集對(duì)象特征，以判別數(shù)據(jù)的獲取方式。
1）待采集數(shù)據(jù)對(duì)象
無(wú)論實(shí)際設(shè)備的功能是什么，在數(shù)據(jù)采集環(huán)節(jié)通常需要連接以下設(shè)備：
PLC（可編程邏輯控制器）：PLC具有高實(shí)時(shí)性，并具有類似繼電器能力的物理作動(dòng)能力，PLC應(yīng)用于大量制造業(yè)自動(dòng)化設(shè)備，是制造業(yè)自動(dòng)化設(shè)備中最常用的控制單元。
△PLC是工業(yè)自動(dòng)化設(shè)備的核心控制元件
嵌入式系統(tǒng)：嵌入式系統(tǒng)包括微控制單位（MCU），數(shù)字控制系統(tǒng)（DCS)等多種形式，可視為與機(jī)械、電氣設(shè)備整合的PC機(jī)。與PLC相比，嵌入式系統(tǒng)具有完整的圖靈機(jī)架構(gòu)，自帶操作系統(tǒng)，能提供良好人機(jī)交互界面，可以開(kāi)發(fā)出復(fù)雜度較高的應(yīng)用軟件系統(tǒng)，并可以在很多領(lǐng)域替代PLC使用（如倍福系列產(chǎn)品）。
嵌入式系統(tǒng)本質(zhì)是PC設(shè)備，因此理論上可以使用常規(guī)的PC通信方式如HTTP/FTP協(xié)議獲取其內(nèi)部數(shù)據(jù)。但是在實(shí)際應(yīng)用中，嵌入式系統(tǒng)軟件以設(shè)備正確運(yùn)作為優(yōu)先任務(wù)，基于安全與商業(yè)的考量并不開(kāi)放數(shù)據(jù)訪問(wèn)權(quán)限，因此往往需要通過(guò)購(gòu)買(mǎi)專門(mén)的軟件API接口獲取數(shù)據(jù)。
SCADA（數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)）：SCADA是基于信息化側(cè)要求所構(gòu)建的專用工業(yè)數(shù)據(jù)采集系統(tǒng)，既包括安裝于工控機(jī)的專用設(shè)備數(shù)據(jù)采集軟件，也包括通用的基于開(kāi)放協(xié)議標(biāo)準(zhǔn)的各類邊緣盒子。
然而，這類系統(tǒng)存在以下局限性：
→基于開(kāi)放技術(shù)協(xié)議的數(shù)據(jù)采集設(shè)備要求工業(yè)設(shè)備原生支持OPC等開(kāi)發(fā)協(xié)議，現(xiàn)實(shí)中的設(shè)備通常不能保證這一點(diǎn)；
→面向特定設(shè)備群及應(yīng)用場(chǎng)景開(kāi)發(fā)的SCADA系統(tǒng)造價(jià)昂貴，常用于核電系統(tǒng)等專業(yè)領(lǐng)域，難以推廣普及。
2）基于各類通信協(xié)議的數(shù)據(jù)獲取方式
在實(shí)際工業(yè)場(chǎng)景中存在多種通信協(xié)議，并且分布在計(jì)算機(jī)網(wǎng)絡(luò)架構(gòu)中的多個(gè)層級(jí)。比如在物理層，一般的設(shè)備會(huì)以 RS232/485 接口和各種帶寬的以太網(wǎng)接口為主，其它類型如光纖、雙絞線或者無(wú)線連接也可能存在。此類差異需要在相應(yīng)的開(kāi)發(fā)工作中予以注意，但通常并不影響到軟件本身的設(shè)計(jì)。從軟件開(kāi)發(fā)可行性與架構(gòu)設(shè)計(jì)的立場(chǎng)考量，可以將多種通信協(xié)議簡(jiǎn)要區(qū)分為三種模式。
該訪問(wèn)方式主要用于PLC等較基礎(chǔ)的控制設(shè)備，其代表協(xié)議為Modbus。由于設(shè)備運(yùn)行程序較為簡(jiǎn)單，并沒(méi)有提供友好的通信協(xié)議，只能通過(guò)指定物理地址獲取設(shè)備上的相關(guān)控制量與物理量，這種物理地址可能是若干字節(jié)，也可能是某個(gè)字節(jié)中的一位。由于這種情形下無(wú)法借助設(shè)備將變量數(shù)值與具體的物理量關(guān)聯(lián)，必須借助被稱為“點(diǎn)表”的文件構(gòu)建關(guān)聯(lián)。點(diǎn)表來(lái)自設(shè)備提供方，下圖是一個(gè)點(diǎn)表的示例，為簡(jiǎn)單起見(jiàn)僅選取其中21個(gè)狀態(tài)量進(jìn)行表示，實(shí)際設(shè)備所含狀態(tài)量可能達(dá)到數(shù)百個(gè)。
該表給出了每個(gè)狀態(tài)量對(duì)應(yīng)的Modbus寄存器地址，因此可以通過(guò)該協(xié)議訪問(wèn)這些地址，以獲得相應(yīng)的狀態(tài)信息。表中前16個(gè)狀態(tài)數(shù)據(jù)為布爾量，在寄存器中，每個(gè)量只占有一個(gè)bit，后五個(gè)狀態(tài)數(shù)據(jù)為實(shí)數(shù)，即浮點(diǎn)數(shù)（f16），在寄存器中這五個(gè)狀態(tài)量每個(gè)狀態(tài)量占有兩個(gè)byte，以上信息可由點(diǎn)表中的地址信息獲取。
△用于關(guān)聯(lián)物理地址與對(duì)應(yīng)狀態(tài)量的點(diǎn)表
具有類PC架構(gòu)的設(shè)備通常提供較為高級(jí)的接口服務(wù)。例如 OPC-UA 或 ADS 協(xié)議，新的嵌入式設(shè)備可能提供包括Restful API 在內(nèi)的網(wǎng)絡(luò)通信能力。這些協(xié)議或者通過(guò)專用API，或者通過(guò)通用接口協(xié)議（如HTTP），提供了多種設(shè)備狀態(tài)信息訪問(wèn)的能力。一般的，此類設(shè)備也可能提供基于物理地址的訪問(wèn)方式，其中OPC-UA基本屬于行業(yè)標(biāo)準(zhǔn)，是工業(yè)領(lǐng)域最常用的通信協(xié)議之一。
→基于推送機(jī)制的被動(dòng)訪問(wèn)
新的自動(dòng)化設(shè)備與工業(yè)數(shù)據(jù)采集盒子會(huì)提供面向MQTT broker 甚至 Kafka 消息服務(wù)器的推送服務(wù)，因此只需要訂閱相關(guān)事件即可。此類數(shù)據(jù)獲取方式在目前的IOT領(lǐng)域中較為常用，其基于事件的推送方式結(jié)合物聯(lián)網(wǎng)環(huán)境下的云邊協(xié)同技術(shù)能夠滿足很多物聯(lián)網(wǎng)應(yīng)用場(chǎng)景。但如PHM等工業(yè)應(yīng)用如果要基于等間隔采樣原始數(shù)據(jù)展開(kāi)工作，則此種方式存在效率不高的限制。
基于經(jīng)驗(yàn)，如果構(gòu)建基于工業(yè)數(shù)據(jù)分析的應(yīng)用，可以首先考慮基于物理尋址的方式。因?yàn)楣I(yè)數(shù)據(jù)分析應(yīng)用往往要求采集全量數(shù)據(jù)，在此方式下使用寄存器首位地址結(jié)合數(shù)組類型，可簡(jiǎn)化數(shù)據(jù)傳遞的計(jì)算復(fù)雜度，并減少數(shù)據(jù)查詢次數(shù)。其代價(jià)是需要將獲取的查詢結(jié)果重新轉(zhuǎn)碼解析后分解到各參量，相當(dāng)于用計(jì)算資源換取網(wǎng)絡(luò)性能。
如果構(gòu)建基于事務(wù)型、決策看板型的應(yīng)用，可以優(yōu)先考慮基于變量名通信的方式，此類方式可以按需求獲取指定的數(shù)據(jù)內(nèi)容，并且易于配置、變更。選型應(yīng)優(yōu)先考慮行業(yè)常用協(xié)議如OPCUA等。
如果應(yīng)用具有云邊協(xié)同架構(gòu)，則推送機(jī)制是連接邊緣側(cè)設(shè)備與云平臺(tái)的可選策略，其工業(yè)應(yīng)用偏向事件驅(qū)動(dòng)模式。
2. 靜態(tài)數(shù)據(jù)文件中數(shù)據(jù)的獲取
除實(shí)時(shí)數(shù)據(jù)外，工業(yè)領(lǐng)域還存在大量的靜態(tài)文件需要被解析，主要是由于以下原因：
1）歷史數(shù)據(jù)
大型制造企業(yè)建立初期往往缺少現(xiàn)代信息化系統(tǒng)所提供的數(shù)據(jù)服務(wù)支持，但其完善的質(zhì)量管理體系和較好的制造控制能力使其在過(guò)往的制造過(guò)程中留存了大量數(shù)據(jù)，此類歷史數(shù)據(jù)通常以文件的形式保留。
2）高采樣數(shù)據(jù)
對(duì)非平穩(wěn)運(yùn)行狀態(tài)的監(jiān)視需要使用非常高的采樣率。如對(duì)某類發(fā)動(dòng)機(jī)點(diǎn)火階段震顫狀態(tài)的觀測(cè)，需要用到每秒數(shù)萬(wàn)次的采樣測(cè)量。如此采樣率會(huì)在短時(shí)間內(nèi)產(chǎn)生大量數(shù)據(jù)，遠(yuǎn)程直接連接采集數(shù)據(jù)會(huì)造成網(wǎng)絡(luò)堵塞或數(shù)據(jù)丟失。因此常用方式是直接在測(cè)試端設(shè)備上留存數(shù)據(jù)，然后以文件形式傳遞。
當(dāng)設(shè)備的使用方與設(shè)備的生產(chǎn)方、運(yùn)維方不是同一實(shí)體時(shí)無(wú)法直接獲取數(shù)據(jù)。比如列車(chē)運(yùn)行數(shù)據(jù)或風(fēng)電場(chǎng)運(yùn)行數(shù)據(jù)可供設(shè)備生產(chǎn)方用以分析其產(chǎn)品質(zhì)量，這種數(shù)據(jù)轉(zhuǎn)移需要通過(guò)數(shù)據(jù)交易、權(quán)限管理等，目前使用文件的形式傳遞居多。
在數(shù)據(jù)密集型工業(yè)應(yīng)用系統(tǒng)構(gòu)建時(shí)，對(duì)靜態(tài)數(shù)據(jù)文件的解析主要面臨多種文件類型問(wèn)題，實(shí)際存在的靜態(tài)數(shù)據(jù)文件類型包括并不限于：txt, csv, dat, xls(x), mat, wav, d7d(dxd), zd, arrow, parquet等。其中，部分文件類型中數(shù)據(jù)存儲(chǔ)方式還存在多樣化情形。
從IT數(shù)據(jù)結(jié)構(gòu)角度，可將以上文件類型區(qū)分為以下幾類：
→明碼文件
txt，csv 以及 部分 dat 文件。此類文件可以使用所有文本編輯軟件打開(kāi)直接查看其數(shù)據(jù)，其數(shù)據(jù)結(jié)構(gòu) (schema) 可以直接觀察 , 數(shù)據(jù)的類型也可直接了解，文件的析取方式較為簡(jiǎn)單，但其數(shù)據(jù)儲(chǔ)存效率較低，被手動(dòng)改變的風(fēng)險(xiǎn)較高，并且在讀取時(shí)需要注意文檔內(nèi)非數(shù)據(jù)部分信息的處理，以及進(jìn)行文本到數(shù)值的轉(zhuǎn)碼。
△某種明碼數(shù)據(jù)示例：數(shù)據(jù)的schema與類型可觀測(cè)
此類文件內(nèi)含數(shù)據(jù)以二進(jìn)制字節(jié)表示，可以用UE或其它支持16進(jìn)制數(shù)據(jù)析取展示的工具進(jìn)行查看。文件的后綴名可能是dat, zd, tdms 等多種名稱。數(shù)據(jù)經(jīng)由內(nèi)存中數(shù)據(jù)的表直接留存，空間占用率不高，存儲(chǔ)與導(dǎo)入速度很快，并且兼容幾乎所有環(huán)境。
但這種數(shù)據(jù)文件常常不包含任何對(duì)該數(shù)據(jù)的描述，包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型以及數(shù)據(jù)起始解析地址等，所有信息均需另外告知；或者此類信息與數(shù)據(jù)一同編碼至該文件內(nèi)，需要另外告知上述信息在文件中所在的相對(duì)地址位以便解析。
前一數(shù)據(jù)文件的序列化緩沖數(shù)據(jù)，該數(shù)據(jù)描述信息需額外告知或通過(guò)給定文件內(nèi)地址析取。
→特定軟件專用文件
工業(yè)領(lǐng)域存在大量專用軟件，這些軟件常常通過(guò)自定義數(shù)據(jù)文件格式對(duì)其數(shù)據(jù)進(jìn)行存儲(chǔ)與管理。對(duì)這些文件的析取需要使用匹配的專用解析庫(kù)文件或支持模塊。
比如MATLAB 的 mat 文件 和 Excel 的 xls/xlsx 文件，以及德維創(chuàng)數(shù)據(jù)采集專用的 d7d/dxd 等，這類數(shù)據(jù)通常解析后可以直接獲取數(shù)據(jù)結(jié)構(gòu)信息，以及數(shù)據(jù)類型信息。難點(diǎn)在于解析器的獲取。其中常見(jiàn)文件類型通常具有公開(kāi)的第三方解析工具，專用類型則需要軟件方提供相應(yīng)解析支持工具包。
03 工業(yè)數(shù)據(jù)解析
前述內(nèi)容對(duì)工業(yè)數(shù)據(jù)的多樣性進(jìn)行了闡述分析，并站在信息化建設(shè)的立場(chǎng)將工業(yè)實(shí)時(shí)數(shù)據(jù)的接入、靜態(tài)數(shù)據(jù)文件的讀取分別歸為了三種類型。這其中除兩類簡(jiǎn)單的靜態(tài)文件解析不需要考慮數(shù)據(jù)類型問(wèn)題外，其它接入數(shù)據(jù)還需要處理按照正確的數(shù)據(jù)類型解析數(shù)據(jù)的問(wèn)題。本節(jié)我們討論相關(guān)問(wèn)題，同時(shí)介紹一個(gè)用以測(cè)試數(shù)據(jù)解析方案的node-red，該工具同時(shí)支持在工作前期快速洞察數(shù)據(jù)。
1. 序列數(shù)據(jù)解析
在許多工業(yè)應(yīng)用場(chǎng)景中數(shù)據(jù)傳輸是基于較底層協(xié)議進(jìn)行的，意味著獲取的工業(yè)數(shù)據(jù)不會(huì)以明確的數(shù)據(jù)類型傳遞，而只是表示為單純的字節(jié)序列。如下圖所示。
以字節(jié)串序列傳遞的工業(yè)時(shí)序數(shù)據(jù)，需要通過(guò)指定的數(shù)據(jù)類型對(duì)其進(jìn)行解析。
對(duì)這類數(shù)據(jù)序列的解析涉及兩個(gè)方面，即數(shù)據(jù)類型與數(shù)據(jù)存儲(chǔ)方式：
→數(shù)據(jù)類型
同一個(gè)字節(jié)序列在指定不同的數(shù)據(jù)類型時(shí)可以被解析為多種數(shù)據(jù)序列，以上述字節(jié)序列為例，在將數(shù)據(jù)指定為int8, int16, int32, float16, float32, float64 等格式可以獲得不同的解析結(jié)果。并且，在實(shí)際工作中一個(gè)字節(jié)序列中可能包含多種數(shù)據(jù)類型的多個(gè)數(shù)據(jù)的組合。因此必須在解析前首先了解待解析數(shù)據(jù)的實(shí)際類型。
△不同的類型假定會(huì)把同一的數(shù)據(jù)序列解析為不同的結(jié)果
數(shù)據(jù)的存儲(chǔ)方式主要指數(shù)據(jù)序列化時(shí)的大端和小端選擇。
" 大端模式，是指數(shù)據(jù)的高字節(jié)保存在內(nèi)存的低地址中，而數(shù)據(jù)的低字節(jié)保存在內(nèi)存的高地址中，這樣的存儲(chǔ)模式有點(diǎn)兒類似于把數(shù)據(jù)當(dāng)作字符串順序處理：地址由小向大增加，數(shù)據(jù)從高位往低位放；小端模式，是指數(shù)據(jù)的高字節(jié)保存在內(nèi)存的高地址中，而數(shù)據(jù)的低字節(jié)保存在內(nèi)存的低地址中，這種存儲(chǔ)模式將地址的高低和數(shù)據(jù)位權(quán)有效地結(jié)合起來(lái)，高地址部分權(quán)值高，低地址部分權(quán)值低。--- 定義來(lái)自百度百科
通常信息化系統(tǒng)中的數(shù)據(jù)都以小端形式存儲(chǔ)，但在很多工業(yè)設(shè)備上數(shù)據(jù)以大端形式存儲(chǔ)。因此在數(shù)據(jù)的解析中還必須注意數(shù)據(jù)的存儲(chǔ)形式。下圖展示了同一種數(shù)據(jù)類型以不同存儲(chǔ)形式假設(shè)進(jìn)行解析時(shí)得到的不同結(jié)果：
△不同的存儲(chǔ)方式假設(shè)會(huì)得到不同的解析結(jié)果
由于工業(yè)數(shù)據(jù)的獲取與解析存在各種情形，在系統(tǒng)構(gòu)建前期快速測(cè)試接入數(shù)據(jù)，了解數(shù)據(jù)狀況就顯得十分必要。對(duì)數(shù)據(jù)的解析通常需要通過(guò)代碼開(kāi)發(fā)的方法完成，以python為例，可以使用諸如 numpy.frombuffer, pandas.read_csv, scipy.io.loadmat 等方法，結(jié)合正確的參數(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的正確解析。但此類方法并不便利，非開(kāi)發(fā)人員在進(jìn)行項(xiàng)目初期調(diào)研時(shí)難以直接使用。因此可以使用如 node-red 等軟件進(jìn)行數(shù)據(jù)解析的測(cè)試。
node-red 的安裝：node-red 由IBM公司開(kāi)發(fā)，BS架構(gòu)，主要用于IOT環(huán)境中進(jìn)行低代碼的數(shù)據(jù)接入與解析。可以在windows下用命令：
npm install -g --unsafe-perm node-red
安裝，安裝要求系統(tǒng)具備 node.js 環(huán)境。建議使用conda虛擬環(huán)境管理器構(gòu)建node.js環(huán)境，在該環(huán)境下安裝node-red。安裝完成后在該虛擬環(huán)境下輸入node-red即可啟動(dòng)該軟件服務(wù)，然后在瀏覽器輸入服務(wù)指定的訪問(wèn)路徑即可進(jìn)入node-red。
注意：請(qǐng)勿使用docker部署該軟件，否則本地文件析取測(cè)試在windows環(huán)境下難以實(shí)現(xiàn)。
△node-red 主界面環(huán)境
通過(guò) node-red 可以調(diào)用多種工業(yè)數(shù)據(jù)接口協(xié)議進(jìn)行數(shù)據(jù)獲取，如通用的 OPCUA，又或?qū)Ｓ玫谋陡Ｍㄐ艆f(xié)議 ADS。
△拖曳式使用多種工業(yè)連接協(xié)議（需要程序內(nèi)安裝）并配置連接參數(shù)
支持解析多種靜態(tài)文件。特別的，以序列化緩沖數(shù)據(jù)形式存儲(chǔ)的文件使用文本類軟件解析便利性較差，使用 node-red 可以簡(jiǎn)化這一過(guò)程。在數(shù)據(jù)解析中可以指定待解析數(shù)據(jù)的起始地址，數(shù)據(jù)類型與數(shù)據(jù)長(zhǎng)度等參數(shù)。
△對(duì)前述序列化緩沖數(shù)據(jù)文件進(jìn)行解析
node-red 雖然提供了便利的工業(yè)數(shù)據(jù)連接與解析的工具，但在解析復(fù)雜的真實(shí)現(xiàn)場(chǎng)數(shù)據(jù)需要較多配置工作，并難以適應(yīng)動(dòng)態(tài)、柔性現(xiàn)場(chǎng)條件，因此在真實(shí)系統(tǒng)中仍然需要使用開(kāi)發(fā)的方式構(gòu)建數(shù)據(jù)獲取與解析能力。該工具適用于對(duì)工業(yè)數(shù)據(jù)的快速連接與解析方式的驗(yàn)證。
為實(shí)現(xiàn)動(dòng)態(tài)、大批量完成的工業(yè)數(shù)據(jù)獲取與解析工作，美林?jǐn)?shù)據(jù)提供設(shè)備采集器模塊產(chǎn)品。設(shè)備采集器是一個(gè)可以進(jìn)行多設(shè)備協(xié)議數(shù)據(jù)采集，并進(jìn)行數(shù)據(jù)消息報(bào)送的采集軟件；可以通過(guò)靈活的配置文件進(jìn)行點(diǎn)位采集業(yè)務(wù)的配置；可對(duì)采集點(diǎn)位進(jìn)行分組，同組點(diǎn)位采用相同的頻率進(jìn)行采集，并將數(shù)據(jù)按照特定格式組合后發(fā)送同一消息主題。
△設(shè)備采集器總體架構(gòu)
04 總結(jié)
將以上所述過(guò)程以流程圖的形式表示如下。其中藍(lán)色字體部分是一般工業(yè)軟件系統(tǒng)構(gòu)建時(shí)需要?jiǎng)討B(tài)配置的部分，需要在開(kāi)發(fā)過(guò)程中予以關(guān)注。
△工業(yè)數(shù)據(jù)的獲取與采集過(guò)程
也可來(lái)電與我們深入交流：400-608-2558
Tempo商業(yè)智能平臺(tái)
Tempo人工智能平臺(tái)
Tempo數(shù)據(jù)工廠平臺(tái)
Tempo指標(biāo)平臺(tái)
Tempo數(shù)據(jù)治理平臺(tái)
Tempo主數(shù)據(jù)管理平臺(tái)
首頁(yè)
美林?jǐn)?shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號(hào)
