前言：一般性討論
大型復雜機械產(chǎn)品的裝配狀態(tài)檢測自動化的重要性
裝配狀態(tài)檢測是大型復雜機械產(chǎn)品諸如飛機、汽車、船舶等制造過程的重要組成部分。這類產(chǎn)品結(jié)構(gòu)復雜，其裝配過程涉及大量零組件。在制造全過程中，裝配勞動量通常占總勞動量的50%～60%。因此裝配質(zhì)量對大型復雜機械產(chǎn)品的最終品質(zhì)有很大的影響。為保證產(chǎn)品品質(zhì)，通常要求裝配檢測人員按照裝配操作規(guī)程進行細致檢查，確保工作涉及的成品、附件及零組件等裝配均符合裝配圖紙及相關(guān)規(guī)范的要求。這種人工檢測的方式費時費力、可靠性低，且檢測時存在一定的主觀性，可能造成裝配狀態(tài)檢測準確度不高，檢測結(jié)論不一致等問題；檢測人員難以長期注意力集中，有可能對個別錯、漏裝情況未及時發(fā)
現(xiàn)，影響裝配合格性，對最終產(chǎn)品使用安全造成不良影響。此外，現(xiàn)有狀態(tài)檢測流程要求固化，難以隨設(shè)計變更和裝配工藝變更實時調(diào)整，數(shù)據(jù)缺乏統(tǒng)一管理，難以在后續(xù)維保工作中貢獻更大價值?；诖耍芯看笮蛷碗s機械產(chǎn)品自動化裝配狀態(tài)檢測，提高大型復雜機械產(chǎn)品裝配狀態(tài)檢測的穩(wěn)定性，可回溯
性，提升檢測結(jié)果數(shù)據(jù)價值，是推動大型復雜機械產(chǎn)品裝配向高質(zhì)量、高效
率、高精準化發(fā)展的重要任務(wù)。 我國在大型復雜機械產(chǎn)品的設(shè)計、制造及生產(chǎn)管理等核心流程數(shù)字化建設(shè)中取得了很大成就。但相應的裝配狀態(tài)檢測工作方面數(shù)字化、自動化程度還不高。
什么是裝配狀態(tài)檢測？
大型復雜機械產(chǎn)品裝配檢測工作可分為兩類：
?狀態(tài)檢測：驗證零件的存在性、姿態(tài)的正確性與尺寸偏差要求較低的定位正確性、簡單的連接關(guān)系正確性。
?關(guān)鍵要素檢測：驗證精確的定位正確性、復雜的連接關(guān)系正確性、性能實現(xiàn)與功能實現(xiàn)。 其中關(guān)鍵要素檢測是重要特性驗證，如螺栓預緊力是否達標，組件氣密性是否保證等，通常已具備自動化能力。大型復雜機械產(chǎn)品的裝配檢測中存在的問題主要體現(xiàn)在狀態(tài)檢測方面。
為什么這件事存在難度？
大型復雜機械產(chǎn)品裝配狀態(tài)檢測有其特殊性，具體表現(xiàn)在以下方面。
?大型復雜機械產(chǎn)品的體積與形狀使得難以建設(shè)專用光學檢測裝備(AOI)，通常需要多次圖像采集實現(xiàn)區(qū)域覆蓋，增加了自動化檢測難度；
?此類產(chǎn)品上存在眾多裝配精度較低部件，且裝配狀態(tài)多變，難以應用數(shù)字圖像處理(DIP)技術(shù)簡單分析裝配狀態(tài)。
?簡單使用圖像匹配技術(shù)驗證零組件的存在與否要求對零組件進行多角度大量圖像采樣，大量增加工作負擔且執(zhí)行耗時。
?大型復雜機械產(chǎn)品的檢測要求明確的結(jié)果信息，如某部件缺失或位置不正確等。需要檢測方法能夠?qū)Υ龣z目標進行語義級描述。
人工智能技術(shù)近年來快速發(fā)展，在大量工業(yè)場景得到有效應用。因此使用人工智能相關(guān)技術(shù)實現(xiàn)裝配狀態(tài)檢測自動化成為可行研究方向。但人工智能方法目前只能對圖像數(shù)據(jù)進行簡單的分類與圖像定位，并不能滿足大型復雜機械產(chǎn)品裝配狀態(tài)檢測實際要求。因此還必須研究尋求能夠應用于本領(lǐng)域需求的特定方法。
裝配狀態(tài)檢測自動化方法的技術(shù)設(shè)計
總體而言，要實現(xiàn)大型復雜機械裝配狀態(tài)監(jiān)測的自動化，需要綜合硬件、軟件、人工智能方法與數(shù)字圖像處理方法等多種 IT 前沿技術(shù)，并深入理解工業(yè)
產(chǎn)品裝配狀態(tài)規(guī)程的要求。為清楚闡釋這樣一個自動化系統(tǒng)是如何工作的，我們首先從業(yè)務(wù)角度，分析大型復雜機械產(chǎn)品的裝配狀態(tài)檢測自動化所需要的信息并將其表示為特定數(shù)據(jù)對象集結(jié)構(gòu)。然后在此基礎(chǔ)上，介紹綜合人工智能技術(shù)與數(shù)字圖像處理技術(shù)的自動化裝配狀態(tài)檢測方法。
對裝配狀態(tài)檢測過程中關(guān)鍵要素的數(shù)字化建模
關(guān)鍵要素的數(shù)字化建模主要分為三個部分，即檢測規(guī)程(Routine Data)數(shù)字化，裝配現(xiàn)場采集信息(Inspection Data)數(shù)字化以及待檢物樣本 (Training Data) 數(shù)字化。
裝配狀態(tài)檢測信息數(shù)字化
裝配狀態(tài)檢測規(guī)程定義了需要進行比對的各種檢測操作?？梢詫⒀b配狀態(tài)檢測規(guī)程內(nèi)各操作所蘊含的信息進行分解為存在性，定位正確性，姿態(tài)正確性以及連接關(guān)系正確性，使其轉(zhuǎn)化為可自動化的任務(wù)類型。各任務(wù)類型具體含義如下：
?零組件的存在性：所關(guān)注的零組件是否已經(jīng)安裝，是否有多余的零組件被誤裝；
? 零組件定位與姿態(tài)的正確性：所關(guān)注的零組件其定位是否符合要求，是否以正確的姿態(tài)裝配，如某些支架的定位與朝向；
?零組件之間連接關(guān)系的正確性：所關(guān)注的零組件之間是否以正確的方式連接；
基于這樣的任務(wù)區(qū)分，我們就可以將檢測規(guī)程由非結(jié)構(gòu)化文檔轉(zhuǎn)換為標準數(shù)據(jù)對象結(jié)構(gòu)。
這里檢測任務(wù)為某具體的檢測工作，檢測項為該檢測任務(wù)中需要檢測的所有目標列表，目標即構(gòu)成裝配體的各零組件。其中每個具體目標除自身ID外，還包含目標對象信息，該信息為待檢測目標的理論結(jié)構(gòu) 信息。待檢目標ID具有唯一性，而目標對象可以重復。例如檢測一個 M12 標準螺栓，待檢目標是一個具體的螺栓實例，而目標對象是該類標準螺栓零件。某次檢測可能存在10個這樣的螺栓，對應10個檢測目標ID，它們具有相同的目標對象。
檢測目標中的目標位置表示了這個具體待檢目標在整裝配體上的位置信息。它是檢測目標自身的坐標在裝配體全局坐標上的相對關(guān)系。我們使用最小包圍盒(minimum bounding box, 簡寫為 MBBti 表示該相對關(guān)系。姿態(tài)要求表示了該零件檢測要求中是否包含姿態(tài)檢測，對于沒有姿態(tài)要求的零組件該值取布爾值fault，反之取布爾值true。對于有連接關(guān)系要求的檢測項，則在該檢測目標后增加關(guān)聯(lián)目標鍵，其值為需要關(guān)聯(lián)的目標列表。
現(xiàn)場采集信息數(shù)字化
裝配現(xiàn)場數(shù)字化是指對真實裝配場景的數(shù)字化表示。一般的，裝配狀態(tài)檢測場景的數(shù)字化形式為圖像數(shù)據(jù)。后續(xù)方法將從獲取的圖像數(shù)據(jù)中抽取特定信息后與數(shù)字化的檢測目標進行比對。由于大型復雜機械產(chǎn)品通常尺寸較大且形狀復雜，無法通過一次圖像數(shù)據(jù)采集完成所有檢測工作。因此所采集數(shù)據(jù)是一個數(shù)據(jù)對象集合。
其中采集任務(wù)指示了某一次具體的數(shù)據(jù)采集過程，檢測任務(wù)定義了本次采集數(shù)據(jù)所參照的裝配規(guī)范對象。采集數(shù)據(jù)列表中包含了一系列對檢測對象的圖像數(shù)據(jù)采集，每一個采集圖像數(shù)據(jù)都以一個字典數(shù)據(jù)結(jié)構(gòu)表示，其中，采集標識指示了某一個具體的采集數(shù)據(jù)，采集位姿表示了采集該圖像數(shù)據(jù)時采集設(shè)備相對于采集系統(tǒng)原始坐標標架的相對位置，使用齊次坐標形式的投影矩陣(homogeneous transformation matrix, 簡寫為 HTMti 表示這個相對關(guān)系。采集焦距給出當前采集圖像時的設(shè)備焦距，采集數(shù)據(jù)即為實際獲取到的圖像數(shù)據(jù)，以三維數(shù)組標識。
此外，在大型復雜機械產(chǎn)品裝配實際中，通常無法保證待檢的裝配體處于同一位置，以及具備相同的外部光照條件。因此在自動化裝配狀態(tài)檢測中，對裝配體進行的圖像采集各數(shù)據(jù)其覆蓋區(qū)域也會發(fā)生變化?；谶@個原因，還需要引入這被測裝配體與圖像采集設(shè)備之間的相對位置關(guān)系表示。為此定義設(shè)備定位的變換矩陣，該矩陣同樣是一個 HMT，表達圖像采集設(shè)備的坐標標架到裝配體坐標標架的變換。
待檢物樣本數(shù)字化
為構(gòu)建能夠智能識別零組件的機器學習模型，就必須預先積累待識別目標的數(shù)據(jù)以及基于所積累樣本標定的數(shù)據(jù)標簽，并將其關(guān)聯(lián)起來構(gòu)成待檢物樣本數(shù)
據(jù)，也即機器學習模型構(gòu)建所要求的訓練集。本方法要求待檢物樣本數(shù)據(jù)構(gòu)建遵循目標檢測(Object Detection)類機器學習模型構(gòu)建用訓練集構(gòu)建規(guī)范。
基于人工智能與數(shù)字圖像處理技術(shù)的裝配狀態(tài)檢測自動化方法
直接上流程圖：
必須說明的是，應用該方法需要構(gòu)建自動圖像采集設(shè)備。該設(shè)備應具有下述能力：
?能夠自主驅(qū)動圖像采集器采集多張圖像數(shù)據(jù)，使得所采集圖像能夠覆蓋裝配體的檢測面。
?能夠在采集圖像時記錄圖像采集器當前位姿相對于其整體坐標原點的HTM。
該方法還需要構(gòu)建準確裝配檢測基準，這是一個經(jīng)過驗證確認正確的裝配體原型。自動圖像采集設(shè)備需要對該原型進行一次數(shù)據(jù)采集，為后續(xù)所有其它裝配檢測建立參照。 最后，該方法需要實際的待檢測裝配目標，這是所有需要進行自動化檢測的裝配體對象。
流程說明：
本方法將智能檢測過程分為兩個階段，其中：
檢測系統(tǒng)構(gòu)建階段對每種裝配體檢測只執(zhí)行一次，主要任務(wù)是根據(jù)裝配檢測要求，構(gòu)建用于裝配檢測的智能識別模型與裝配檢測基準。該階段主要包含以下工作：
?檢測參考數(shù)據(jù) (Inspection Data Reference) 采集使用自動圖像采集設(shè)備對準確裝配檢測基準進行數(shù)據(jù)采集，獲得檢測參考數(shù)據(jù)。該數(shù)據(jù)結(jié)構(gòu)與裝配現(xiàn)場數(shù)字化信息數(shù)據(jù)完全相同，用于完成當前裝配狀態(tài)的檢測基準構(gòu)
建。
?目標檢測模型構(gòu)建使用前述 Training Data 數(shù)據(jù)完成一個面向圖像數(shù)據(jù)的智能目標檢測模型訓練。該過程為標準人工智能目標檢測建模過程，并可以在成熟模型基礎(chǔ)上進行遷移學習，以提升模型對目標檢測的分類查準率與定位精度。
?使用目標檢測模型對檢測參考數(shù)據(jù)進行識別檢測參考數(shù)據(jù)中的圖像數(shù)據(jù)輸入所完成的目標檢測模型，輸出目標檢測結(jié)果列表。
?位姿目標特征與關(guān)聯(lián)目標特征抽取為后續(xù)檢測操作中位姿檢測與連接關(guān)系檢測提供參照基礎(chǔ)。
這個階段的主要任務(wù)是為檢測系統(tǒng)執(zhí)行進行數(shù)據(jù)準備。
檢測系統(tǒng)執(zhí)行階段在所有具體的裝配體檢測任務(wù)上執(zhí)行。其主要任務(wù)是使用
軟、硬件結(jié)合的智能系統(tǒng)對裝配體進行裝配狀態(tài)檢測，并形成檢測結(jié)論。該階段主要包含以下工作：
?使用自動圖像采集設(shè)備對待檢測裝配體進行數(shù)據(jù)采集，獲得檢測數(shù)據(jù)。
?使用檢測系統(tǒng)構(gòu)建階段所完成的智能模型對獲取的檢測數(shù)據(jù)進行識別，獲得待檢裝配體的目標檢測結(jié)果列表，其結(jié)構(gòu)與裝配系統(tǒng)構(gòu)建階段所生成列表相同。
?從檢測規(guī)程數(shù)據(jù)中獲取各元素的 MBB 數(shù)據(jù)，以及檢測數(shù)據(jù)中的變換矩陣數(shù)據(jù)進行解算，獲取各元素最小包圍盒在采集圖像上的二維投影范圍。將計算所得二維投影范圍與本次目標解測結(jié)果進行匹配，獲取檢測規(guī)程數(shù)據(jù)中各元素與目標檢測結(jié)果中的對應關(guān)系。
?對檢測規(guī)程中要求存在性檢測的要素，直接使用第三步所獲取的對應關(guān)信息驗證其存在性。
?對要求位姿檢測的要素，使用檢測系統(tǒng)構(gòu)建階段獲取的圖像特征數(shù)據(jù)，在本次匹配所獲取目標檢測結(jié)果中對應的數(shù)據(jù)中進行圖像特征匹配。匹配結(jié)果是以圖像空間為坐標標架的變換矩陣，將其與本次檢測所標定的HTM及裝配基準構(gòu)建所標定的 HTM 聯(lián)立可求解被檢測目標位姿與基準位姿間
差異，該差異即用于判別當前裝配體位姿的正確性。 6ti對要求連接關(guān)系檢測的每個要素組合，逐一計算其中每個要素與基準位姿間差異，然后以該要素組合中各要素的位姿差異偏差判別該連接關(guān)系的正確性。
實際操作
為了驗證這種方法在大型復雜機械產(chǎn)品裝配狀態(tài)檢測中的適用性，我們構(gòu)建了相應的軟、硬件一體化檢測系統(tǒng)，并在某復雜機械部件裝配工作中進行了驗證。該檢測系統(tǒng)涉及人工智能、自動控制、數(shù)據(jù)分析等多種關(guān)鍵技術(shù)，是典型的跨學科，跨領(lǐng)域復雜系統(tǒng)。具體的說，以下具體驗證方法被使用，以驗證本方法中的關(guān)鍵技術(shù)項。
驗證方法可以分為硬件功能實現(xiàn)與算法能力驗證兩部分，此外還涉及實際驗證目標的選擇與實際驗證結(jié)果說明。
自適應硬件控制系統(tǒng)開發(fā)目標保證保證工業(yè)相機能夠被載運到待檢部件進行多方位拍攝完成高質(zhì)量圖像采集，并且能夠獲取采集圖像是相機的位姿信息，即前述HMT。此外在大型復雜機械產(chǎn)品裝配中，基準位置通常難以保持一致性。因此圖像采集不能依賴事先定義好的坐標值，必須記錄待檢目標與機器人之間的相對位置用于圖像匹配，硬件控制系統(tǒng)通過標定方法實現(xiàn)功能。檢測樣機硬件設(shè)備主要包括具有自適應調(diào)整能力的工程輔助設(shè)備和感知設(shè)備。具體硬件如下表所示。
其中協(xié)作型機器人用于控制工業(yè)相機相對待檢對象進行移動。設(shè)備選型主要依據(jù)工作半徑及所需最大負載確定。工業(yè)相機通過支架安裝于機器人工具端頭后的實際效果如下圖所示。
檢驗的軟件架構(gòu)和數(shù)據(jù)流程架構(gòu)是數(shù)字化檢驗系統(tǒng)的核心部分，其通過各類智能算法和三維模型對采集到的部件數(shù)據(jù)進行識別判斷，依托各種設(shè)備的數(shù)據(jù)采集和計算能力，以大數(shù)據(jù)、人工智能、圖像識別等先進技術(shù)為基礎(chǔ)，構(gòu)建滿足當下及近未來一段時間飛機部件裝配檢驗的數(shù)字化技術(shù)體系和流程結(jié)構(gòu)，并以使其滿足工程可行性。 軟件系統(tǒng)架構(gòu)分為應用層、數(shù)據(jù)層、系統(tǒng)層和硬件控制等四部分，各層在數(shù)字化裝配檢驗架構(gòu)體系要求的基礎(chǔ)上，按照功能進行劃分，層與層之間并非完全獨立存在，而是相互緊密聯(lián)系，層內(nèi)各功能模塊之間也是互相緊密相關(guān)。下圖是所構(gòu)建的數(shù)字化裝配檢驗系統(tǒng)軟件架構(gòu)圖。
在上圖中，應用層是完成具體應用任務(wù)的軟件程序，數(shù)據(jù)層是包含應用層軟件所需相關(guān)數(shù)據(jù)的支持服務(wù)層，系統(tǒng)層是對系統(tǒng)進行后端開發(fā)和智能識別模型開發(fā)的部分，硬件控制是用來控制硬件層設(shè)備按照任務(wù)和數(shù)據(jù)要求進行工作的程序?qū)印?br />
軟件架構(gòu)的核心部分是系統(tǒng)層和數(shù)據(jù)層，系統(tǒng)層包括系統(tǒng)開發(fā)和識別模型兩部分，數(shù)據(jù)層包括先驗數(shù)據(jù)和檢驗數(shù)據(jù)兩部分。其中智能識別算法模型是數(shù)字化裝配檢驗的核心，硬件層設(shè)備采集到的部件數(shù)據(jù)加上數(shù)據(jù)層已有的先驗數(shù)據(jù)，都需要傳送至智能算法模型進行識別判斷，因此，模型本身的好壞直接決定著判別結(jié)果的準確性。智能算法模型既可采用傳統(tǒng)的圖像匹配與規(guī)則識別類算
法，也可采用最新的基于深度學習的物體分類識別算法，相較于傳統(tǒng)機器學
習，深度學習算法所需的數(shù)據(jù)量更大，且對數(shù)據(jù)服務(wù)器性能要求更高，但傳統(tǒng)的機器學習在識別任務(wù)多樣性、準確性等方面又有較大欠缺，且對于復雜場景下多物體的識別能力也有不足。本文通過嘗試在識別檢測任務(wù)中，采用不同的算法模型，根據(jù)各模型判別結(jié)果優(yōu)劣擇優(yōu)輸出。
數(shù)據(jù)層所包含先驗數(shù)據(jù)包括裝配工藝數(shù)據(jù)和CAD三維模型數(shù)據(jù)，裝配工藝數(shù)據(jù)包括安裝尺寸、定位精度、連接狀態(tài)、表面質(zhì)量、配合性質(zhì)、結(jié)構(gòu)形式等待檢部件的裝配數(shù)據(jù)，數(shù)字化檢驗過程就是以此為技術(shù)標準進行檢驗判別；CAD三維模型數(shù)據(jù)是部件完整裝配狀態(tài)的三維空間分布結(jié)構(gòu)，當二維數(shù)據(jù)無法清晰表達部件的空間姿態(tài)和更多的細節(jié)信息時，需要通過CAD三維模型來確定部件的實際裝配布局和空間關(guān)系。
在智能識別系統(tǒng)構(gòu)建方面，由于工業(yè)領(lǐng)域需要處理的目標對象缺乏大量的數(shù)據(jù)樣本，因此很難從頭訓練成熟的智能目標識別模型，必須使用遷移學習方法（Transfer Learning）。該方法將現(xiàn)有成熟的基于通用標簽圖像訓練生成的模型，結(jié)合本項目應用實際的待檢場景圖像，使用凍層和微調(diào)等技術(shù)手段，實現(xiàn)對成熟卷積網(wǎng)絡(luò)前端幾何特征捕捉的復用與后端面向業(yè)務(wù)的樣本分類的結(jié)合。經(jīng)遷移學習，我們得到了適用于裝配場景的零組件識別，模型性能良好，對零組件的檢測性能達到 90% 以上。
Tempo商業(yè)智能平臺
Tempo人工智能平臺
Tempo數(shù)據(jù)工廠平臺
Tempo指標平臺
Tempo數(shù)據(jù)治理平臺
Tempo主數(shù)據(jù)管理平臺
首頁
美林數(shù)據(jù)
行業(yè)資訊
陜公網(wǎng)安備 61019002000171號
