大數(shù)據(jù)應(yīng)用

按照數(shù)據(jù)開發(fā)應(yīng)用深入程度的不同，可將眾多的大數(shù)據(jù)應(yīng)用分為三個層次。

第二層，預(yù)測性分析應(yīng)用，是指從大數(shù)據(jù)中分析事物之間的關(guān)聯(lián)關(guān)系、發(fā)展模式等，并據(jù)此對事物發(fā)展的趨勢進行預(yù)測。如微軟公司紐約研究院研究員David Rothschild通過收集和分析賭博市場、證券交易所、社交媒體用戶發(fā)布的帖子等大量公開數(shù)據(jù)，建立預(yù)測模型，對多屆奧斯卡獎項的歸屬進行預(yù)測。2014和2015年，均準(zhǔn)確預(yù)測了奧斯卡共24個獎項中的21個。

當(dāng)前，在大數(shù)據(jù)應(yīng)用的實踐中，描述性、預(yù)測性分析應(yīng)用多，決策指導(dǎo)性等更深層次分析應(yīng)用偏少。一般而言，人們做出決策的流程通常包括：認知現(xiàn)狀、預(yù)測未來和選擇策略這三個基本步驟。這些步驟也對應(yīng)了上述大數(shù)據(jù)分析應(yīng)用的三個不同層次。不同層次的應(yīng)用意味著人類和計算機在決策流程中不同的分工和協(xié)作。例如：第一層次的描述性分析中，計算機僅負責(zé)將與現(xiàn)狀相關(guān)的信息和知識展現(xiàn)給人類專家，而對未來態(tài)勢的判斷及對最優(yōu)策略的選擇仍然由人類專家完成。應(yīng)用層次越深，計算機承擔(dān)的任務(wù)越多、越復(fù)雜，效率提升也越大，價值也越大。然而，隨著研究應(yīng)用的不斷深入，人們逐漸意識到前期在大數(shù)據(jù)分析應(yīng)用中大放異彩的深度神經(jīng)網(wǎng)絡(luò)尚存在基礎(chǔ)理論不完善、模型不具可解釋性、魯棒性較差等問題。因此，雖然應(yīng)用層次最深的決策指導(dǎo)性應(yīng)用，當(dāng)前已在人機博弈等非關(guān)鍵性領(lǐng)域取得較好應(yīng)用效果，但是，在自動駕駛、政府決策、軍事指揮、醫(yī)療健康等應(yīng)用價值更高，且與人類生命、財產(chǎn)、發(fā)展和安全緊密關(guān)聯(lián)的領(lǐng)域，要真正獲得有效應(yīng)用，仍面臨一系列待解決的重大基礎(chǔ)理論和核心技術(shù)挑戰(zhàn)，大數(shù)據(jù)應(yīng)用仍處于初級階段。

大數(shù)據(jù)治理

隨著大數(shù)據(jù)作為戰(zhàn)略資源的地位日益凸顯，人們越來越強烈地意識到制約大數(shù)據(jù)發(fā)展最大的短板之一就是：數(shù)據(jù)治理體系遠未形成，如數(shù)據(jù)資產(chǎn)地位的確立尚未達成共識，數(shù)據(jù)的確權(quán)、流通和管控面臨多重挑戰(zhàn)；數(shù)據(jù)壁壘廣泛存在，阻礙了數(shù)據(jù)的共享和開放；法律法規(guī)發(fā)展滯后，導(dǎo)致大數(shù)據(jù)應(yīng)用存在安全與隱私風(fēng)險等。

一方面，數(shù)據(jù)共享開放的需求十分迫切。近年來人工智能應(yīng)用取得的重要進展，主要源于對海量、高質(zhì)量數(shù)據(jù)資源的分析和挖掘。而對于單一組織機構(gòu)而言，往往靠自身的積累難以聚集足夠的高質(zhì)量數(shù)據(jù)。

然而，另一方面，數(shù)據(jù)的無序流通與共享，又可能導(dǎo)致隱私保護和數(shù)據(jù)安全方面的重大風(fēng)險，必須對其加以規(guī)范和限制。例如，鑒于互聯(lián)網(wǎng)公司頻發(fā)的、由于對個人數(shù)據(jù)的不正當(dāng)使用而導(dǎo)致的隱私安全問題，歐盟制定了“史上最嚴格的”數(shù)據(jù)安全管理法規(guī)《通用數(shù)據(jù)保護條例》。2020年1月1日，被稱為美國“最嚴厲、最全面的個人隱私保護法案”——《加利福利亞消費者隱私法案》（CCPA）正式生效。在我國，2019年中央網(wǎng)信辦發(fā)布了《數(shù)據(jù)安全管理辦法（征求意見稿）》，向社會公開征求意見，明確了個人信息和重要數(shù)據(jù)的收集、處理、使用和安全監(jiān)督管理的相關(guān)標(biāo)準(zhǔn)和規(guī)范。

一是大數(shù)據(jù)治理概念的使用相對“狹義”，研究和實踐大都以企業(yè)組織為對象，僅從個體組織的角度考慮大數(shù)據(jù)治理的相關(guān)問題，這與大數(shù)據(jù)跨界流動的迫切需求存在矛盾，限制了大數(shù)據(jù)價值的發(fā)揮。

三是大數(shù)據(jù)治理相關(guān)的研究實踐多條線索并行，關(guān)聯(lián)性、完整性和一致性不足。諸如，國家層面的政策法規(guī)和法律制定等較少被納入大數(shù)據(jù)治理的視角；數(shù)據(jù)作為一種資產(chǎn)的地位仍未通過法律法規(guī)予以確立，難以進行有效的管理和應(yīng)用；大數(shù)據(jù)管理已有不少可用技術(shù)與產(chǎn)品，但還缺乏完善的多層級管理體制和高效管理機制；如何有機結(jié)合技術(shù)與標(biāo)準(zhǔn)，建立良好的大數(shù)據(jù)共享與開放環(huán)境仍需要進一步探索。

數(shù)據(jù)規(guī)模高速增長，現(xiàn)有技術(shù)體系難以滿足大數(shù)據(jù)應(yīng)用的需求，大數(shù)據(jù)理論與技術(shù)遠未成熟，未來信息技術(shù)體系將需要顛覆式創(chuàng)新和變革。

當(dāng)前，需要處理的數(shù)據(jù)量已經(jīng)大大超過處理能力的上限，從而導(dǎo)致大量數(shù)據(jù)因無法或來不及處理，而處于未被利用、價值不明的狀態(tài)，這些數(shù)據(jù)被稱為“暗數(shù)據(jù)”。據(jù)國際商業(yè)機器公司（IBM）的研究報告估計，大多數(shù)企業(yè)僅對其所有數(shù)據(jù)的1%進行了分析應(yīng)用。

首先，大數(shù)據(jù)定義雖已達成初步共識，但許多本質(zhì)問題仍存在爭議，例如：數(shù)據(jù)驅(qū)動與規(guī)則驅(qū)動的對立統(tǒng)一、“關(guān)聯(lián)”與“因果”的辯證關(guān)系、“全數(shù)據(jù)”的時空相對性、分析模型的可解釋性與魯棒性等；

其三，應(yīng)用超前于理論和技術(shù)發(fā)展，數(shù)據(jù)分析的結(jié)論往往缺乏堅實的理論基礎(chǔ)，對這些結(jié)論的使用仍需保持謹慎態(tài)度。

在此背景下，大數(shù)據(jù)現(xiàn)象倒逼技術(shù)變革，將使得信息技術(shù)體系進行一次重構(gòu)，這也帶來了顛覆式發(fā)展的機遇。

文章來源：《中國工業(yè)和信息化》雜志2021年5月刊總第34期