在1997年的可視化IEEE會議中，術(shù)語"大數(shù)據(jù)"被提出。

當(dāng)時，計算機(jī)內(nèi)存以兆字節(jié)為單位，最強(qiáng)大的內(nèi)存為128 MB。由于科學(xué)家之間通過互聯(lián)網(wǎng)共享信息，使得越來越多的數(shù)據(jù)以越來越快的速度涌現(xiàn)，因此開發(fā)處理大數(shù)據(jù)的技術(shù)面臨著如此巨大的壓力也就不足為奇了。

如今，最便宜的智能手機(jī)可在1 GB（1000 MB）的內(nèi)存上運行，因此不斷增長的數(shù)據(jù)量已不再像以前那樣成為問題。用今天的話來說，2013年的全球數(shù)據(jù)量為4.4 ZB（1 ZB = 44萬億GB），到2020年，這一數(shù)據(jù)可能會增加到44 ZB或更多。但是，先進(jìn)的計算機(jī)硬件使數(shù)據(jù)收集和存儲相對便宜又容易。此外， 人工智能（AI）和機(jī)器學(xué)習(xí)（ML）技術(shù)的最新發(fā)展，分析也變得更加易于管理。

但是，在軍隊中，大數(shù)據(jù)的收集經(jīng)常引起爭議。最近的一個喧鬧話題涉及使用開源機(jī)器學(xué)習(xí)平臺收集視覺數(shù)據(jù)。在這種情況下，無人機(jī)是用于數(shù)據(jù)收集或軍事術(shù)語，情報收集的方法?？棺h本身并不是關(guān)于數(shù)據(jù)，而是針對ML進(jìn)行攻擊的潛在用途。

這種對軍事技術(shù)的突然使用是一種奇怪的事情，因為將其用于情報收集并不是什么新鮮事。當(dāng)然，今天使用的方法是不同的，但是數(shù)據(jù)本身的性質(zhì)和重要性卻沒有。

軍方繼續(xù)與 情報界一起收集各種學(xué)科的情報，這些學(xué)科可能被有趣地稱為" INTS"。IC下有17個組織，但它們在軍事領(lǐng)域的道路在以下學(xué)科中相交：

· HUMINT（人類情報）

· GEOINT（地理空間情報）

· SIGINT（信號智能）

· OSINT（開源情報）

HUMINT：人類情報

人類情報收集（HUMINT）通過與人的私人接觸來收集信息。信息采取文件，照片，數(shù)字文件和其他材料的形式，這些信息是通過非官方渠道秘密獲得的，或者是通過外交或領(lǐng)事人員公開獲得的，以及與外國官員的授權(quán)通信。軍隊還可能通過對敵人的訊問或旅行者的匯報來獲取情報。

大多數(shù)人將HUMINT與間諜活動聯(lián)系起來，有時被戲稱為世界第二古老的職業(yè)，他們大多是正確的。間諜在該學(xué)科的情報收集中仍繼續(xù)發(fā)揮重要作用，盡管它與其他廉政局相比更為互補(bǔ)。例如，人員可以提供使SIGINT操作員遠(yuǎn)程訪問系統(tǒng)的代碼。

HUMINT在技術(shù)進(jìn)步這一天的重要性也與環(huán)境相關(guān)，這是基于AI的監(jiān)視可能會錯過的。在地面上有人可以在評估軍事目標(biāo)的有效性和觀察其發(fā)展過程中提供有價值的（人類）見識。

通過HUMINT收集的數(shù)據(jù)通常采用不同的格式，包括模擬和數(shù)字格式。它可能是音頻，視頻，文本或圖像，必須經(jīng)過分析才能將其與通過其他學(xué)科收集的數(shù)據(jù)集成在一起?；贏I的軟件可以標(biāo)記，組織和分析HUMINT數(shù)據(jù)，目前軍方正在評估的此類軟件之一是雷神公司的FoxTen。

但是，AI可能很快會在對抗跟蹤技術(shù)方面發(fā)揮更積極的作用，其中一些技術(shù)是專門為間諜設(shè)計的，而另一些則是不為人知的工具。 中央情報局（Central Intelligence Agency）正在進(jìn)行多個AI項目，包括想出一些方法來欺騙跟蹤設(shè)備或繪制敵對或未知地區(qū)監(jiān)視攝像機(jī)的位置。

GEOINT：地理空間情報

根據(jù)美國法典， 地理空間情報是指使用和研究圖像和地理空間數(shù)據(jù)來解釋，審查和以視覺方式表示地面特征和活動。簡而言之，GEOINT包括從空中，地面或水下拍攝的圖像，視頻和其他視覺表示中收集的所有情報。

從軍事意義上來說，GEOINT的價值在于提供物體活動的精確位置，解釋其含義，并為其提供有助于做出軍事決定的框架。視覺數(shù)據(jù)通常來自衛(wèi)星，無人機(jī)（UAV），自主水下航行器（AUV）和其他測量技術(shù)。

在大多數(shù)情況下，GEOINT數(shù)據(jù)是來自不同來源的地理空間數(shù)據(jù)的集成，以創(chuàng)建情況的三維表示。進(jìn)而將其集成到multi-INT數(shù)據(jù)中。

本節(jié)中特別提到的是無人機(jī)的使用，這種無人機(jī)通常被稱為無人機(jī)。軍方一直在使用無人機(jī)搜集情報，以支持軍事人員和運營多年。

但是，通信速度，存儲容量和機(jī)器視覺軟件自主操作無人機(jī)的能力提高，導(dǎo)致數(shù)據(jù)過載。

軍方庫存中有8,000多架無人機(jī)，并且使用效果良好。員工每天必須經(jīng)歷大約1600個小時的錄像，這還不包括圖像。數(shù)據(jù)對地面的士兵和總部的指揮官來說是無價的，但前提是分析是準(zhǔn)確和及時的。

AI和ML算法可以比人類操作員更快，更徹底地分析視頻并檢測威脅。這是Project Maven的基礎(chǔ)，Project Maven當(dāng)前使用基于TensorFlow的平臺進(jìn)行無人機(jī)鏡頭的預(yù)測分析。在Google決定不續(xù)簽AI開發(fā)項目之后，五角大樓求助于初創(chuàng)公司Anduril Industries，以開發(fā)用于軍事無人機(jī)的傳感器融合平臺。

根據(jù)該公司的網(wǎng)站，使用萊迪思AI平臺，"只有最終信息才傳回給用戶。這使功能強(qiáng)大的計算機(jī)的大規(guī)?？蓴U(kuò)展網(wǎng)狀網(wǎng)絡(luò)可以進(jìn)行數(shù)字處理，而無需部署服務(wù)器場或命令中心。"

SIGINT：信號情報

信號情報是有關(guān)通過攔截信號和傳輸獲得的外來目標(biāo)的動作，目標(biāo)和能力的信息。根據(jù)傳輸類型，存在SIGINT的三個子集。COMINT來自通信系統(tǒng)，雷達(dá)和武器系統(tǒng)來自ELINT（電子情報），以及正在開發(fā)或測試中的武器系統(tǒng)來自FISINT（外國儀器信號情報）。

國家安全局（NSA）通常使用各種方法來搜集有關(guān)恐怖分子，組織以及具有國際或外國協(xié)會的人的SIGINT，但往往 比其他任何方式都使用無人機(jī)。只有 在美國政府正式要求時才這樣做。NSA會將原始數(shù)據(jù)轉(zhuǎn)換，解碼和分析為非NSA分析人員（例如CIA和IC中的分析人員）可用的形式。這些機(jī)構(gòu)將NSA資料與其他廉政局的數(shù)據(jù)相結(jié)合，以描繪出完整的圖景。

SIGINT一直有足夠多的數(shù)據(jù)，用以工作，因為它具有這樣的來源廣泛的陣列。電話對話，電子郵件，無線電波，衛(wèi)星傳輸，無線連接甚至鍵盤振動一直在持續(xù)進(jìn)行，為NSA提供了大量信息。

面臨的挑戰(zhàn)是從大量的隨機(jī)信號中挖掘出有價值的信息內(nèi)核。所述收集過程包括首先從對話的潺潺提取某些類型的信號從信號或談話層。提取后，SIGINT分析人員將篩選候選項目，以根據(jù)一組參數(shù)選擇要保留的項目。然后，國家安全局存儲這些選定的項目，并將其發(fā)送給請求機(jī)構(gòu)以進(jìn)行進(jìn)一步分析。

這個過程是艱苦的，并不總是盡其所能。IC不可避免地會尋求先進(jìn)的AI和ML技術(shù)來使此過程變得更快更好。SIGINT的主要目的是防御。知道敵人的位置，意圖和能力可以大大防止對士兵和平民的傷害。

但是，研究人員越來越希望SIGINT做其他事情。一種是提供見解，以幫助他們從收集到的數(shù)據(jù)中準(zhǔn)確預(yù)測未來事件。

IC研究部門"情報高級研究計劃活動"（IARPA）與學(xué)術(shù)和商業(yè)領(lǐng)域的數(shù)據(jù)科學(xué)家和ML工程師聯(lián)系，以開發(fā)連續(xù)的，自動化的SIGINT分析技術(shù)。 該獎項被稱為" 水星挑戰(zhàn)"，將用于有效地"預(yù)測涉及軍事行動，內(nèi)亂或傳染病的事件，特別是在中東和北非講阿拉伯語的國家發(fā)生的事件"的算法。

此外，先進(jìn)的迅速崛起 的網(wǎng)絡(luò)和電磁活動（CEMA）和電子戰(zhàn)從對手迫使陸軍 收斂的信號情報，網(wǎng)絡(luò)和電磁系統(tǒng)整合到一個平臺： 地面層的智能系統(tǒng)。陸軍正在積極尋求加速集成的建議，包括開發(fā)機(jī)器學(xué)習(xí)軟件以減少工作量。

SIGINT技術(shù)的另一個潛在用途是擔(dān)當(dāng)更積極的防御角色。檢測，識別和評估信號威脅級別（例如地對空導(dǎo)彈雷達(dá)）的能力可以拼寫出任務(wù)成功與失敗之間的區(qū)別。

該波音EA-18G咆哮者保持士兵干擾敵方雷達(dá)信號的安全。有計劃通過集成可以更快地檢測信號并更準(zhǔn)確地分辨出友好和敵對信號之間的區(qū)別的AI軟件，使Growler在防御方面更加有效。

SIGINT收集和分析的世界不再是關(guān)于攔截消息和破解代碼以供他人采取行動。在完善的數(shù)據(jù)和機(jī)器學(xué)習(xí)的幫助下，SIGINT迎接了迅速發(fā)展的電子戰(zhàn)的挑戰(zhàn)。

OSINT：開源情報

正如該術(shù)語所暗示的那樣，開源情報是從公開或可公開獲得的來源收集數(shù)據(jù)以用于特定目的的開發(fā)。這是OSINT的非常寬泛的定義，而在存在OSINT的50年中，很難找到更詳細(xì)的定義。據(jù) RAND Corporation說，原因是公開可用的數(shù)據(jù)源一直在變化。自從Internet使用變得普遍并且社交網(wǎng)絡(luò)使用發(fā)生爆炸以來，這一點變得更加明顯。

多年來，OSINT的來源不斷發(fā)展。在第一次迭代中，最多產(chǎn)的OSINT來源是電視，廣播和印刷媒體。過去，人工操作人員會手動瀏覽這些數(shù)據(jù)源。后來，情報機(jī)構(gòu)使用了商用的現(xiàn)成（COT）軟件來收集，清理和分析OSINT數(shù)據(jù)。

傳統(tǒng)媒體仍然是OSINT的來源，但是數(shù)據(jù)收集的真正動力是互聯(lián)網(wǎng)。即時訪問隨時可用并不斷更新的數(shù)據(jù)有利于情報收集操作。這些內(nèi)容包括博客，在線報紙，社交網(wǎng)絡(luò)，視頻流服務(wù)，論壇和其他用戶提供的內(nèi)容，以及網(wǎng)站后端的隱藏寶石。

問題在于可用數(shù)據(jù)的絕對數(shù)量和復(fù)雜性。來自Internet的數(shù)據(jù)流具有細(xì)微的層次，分析人員必須執(zhí)行所有操作，從事實檢查到情感分析，并始終牢記數(shù)據(jù)的上下文。

要 為這項工作的艱巨性增加視角，請考慮社交媒體。Twitter用戶平均每天上傳6.56億條推文，F(xiàn)acebook用戶每天發(fā)布43億條消息。這只是來自兩個社交網(wǎng)絡(luò)的數(shù)據(jù)。再加上每天Google的搜索量（52億），觀看的YouTube視頻（每分鐘400萬），發(fā)布的博客文章，這為軍隊提供了大量的數(shù)據(jù)。

在軍事領(lǐng)域，分析人員必須能夠過濾這些數(shù)據(jù)流，以識別和分類對軍事戰(zhàn)略和行動有任何用途或影響的所有事物。這可能與某些國家，特定個人，高風(fēng)險人群，武器等有關(guān)。他們必須在人類行為的背景下并實時地徹底做到這一點。

沒有人工協(xié)助，對于操作人員來說，這顯然是不可能完成的任務(wù)，IC也知道。為了滿足這一需求，中央情報局目前正在研究 使用AI進(jìn)行OSINT的幾個項目，而不僅僅是進(jìn)行分析。它計劃使用AI軟件和自然語言處理算法來系統(tǒng)地瀏覽社交網(wǎng)絡(luò)和其他OSINT來源的數(shù)據(jù)流。該軟件將僅選擇相關(guān)項目，從理論上講將OSINT收集器的工作量減少75％。

這個想法是在5年的時間里與私人公司合作進(jìn)行OSINT實驗以及使用機(jī)器學(xué)習(xí)進(jìn)行大數(shù)據(jù)收集和分析。中央情報局于2018年5月宣布了梅薩佛得角項目，但該提案目前尚無更新。

然而，商業(yè)部門并未如此謹(jǐn)慎。像Google這樣的公司已經(jīng)擁有專門設(shè)計用于處理大數(shù)據(jù)的工具和API。

軍事中的大數(shù)據(jù)來自許多來源，信息過載是一個非?，F(xiàn)實的問題。人工智能和機(jī)器學(xué)習(xí)可能是一種有效的解決方案，但是要比重新發(fā)明輪子更了解力量。尋求商業(yè)和學(xué)術(shù)機(jī)構(gòu)處理大數(shù)據(jù)是軍隊采取的合乎邏輯且最具戰(zhàn)略意義的舉措。
來源：CDA數(shù)據(jù)分析師    如有侵權(quán)請聯(lián)系我們刪除。