欧美40老熟妇色xxxxx,免费+国产+在线观看,末成年女a∨片一区二区,久久伊人色av天堂九九,免费中文熟妇在线影片

美林?jǐn)?shù)據(jù)
ABOUT US
美林?jǐn)?shù)據(jù)技術(shù)股份有限公司（簡(jiǎn)稱：美林?jǐn)?shù)據(jù)，NEEQ：831546）是國(guó)內(nèi)知名的數(shù)據(jù)治理和數(shù)據(jù)分析服務(wù)提供商。

大話數(shù)據(jù)挖掘之?dāng)?shù)據(jù)挖掘流程（以鋼鐵行業(yè)為例）

2021-01-18 18:00:36 次
某985高校管理學(xué)院第五屆EMBA班的《數(shù)據(jù)挖掘及其應(yīng)用》課程上。
上一節(jié)課結(jié)束時(shí)，徐教授建議讓國(guó)內(nèi)不銹鋼巨頭公司的品質(zhì)部李部長(zhǎng)與大家分享他們公司數(shù)據(jù)挖掘的成功經(jīng)驗(yàn)，向?qū)W員們介紹數(shù)據(jù)挖掘的流程。
李部長(zhǎng)說(shuō)：“鋼鐵企業(yè)是流程化的生產(chǎn)單位，雖然生產(chǎn)自動(dòng)化程度非常高，但是，老實(shí)說(shuō)，我們的很多工序如煉鐵、煉鋼、連鑄、軋鋼等的過(guò)程控制很大程度上依賴技術(shù)工人的經(jīng)驗(yàn)，對(duì)生產(chǎn)過(guò)程的駕馭還比較粗放。不過(guò)，我們已經(jīng)建立了先進(jìn)的信息化平臺(tái)。尤其是近幾年企業(yè)形成的‘建設(shè)創(chuàng)新型企業(yè)’的文化氛圍下，我們公司積累了豐富的數(shù)據(jù)，也具備了一支高素質(zhì)的管理技術(shù)隊(duì)伍。企業(yè)高層領(lǐng)導(dǎo)一致認(rèn)為，科學(xué)決策是企業(yè)信息化建設(shè)的最終目標(biāo)，數(shù)據(jù)挖掘是實(shí)現(xiàn)這一目標(biāo)的有效工具，是構(gòu)筑未來(lái)核心竟?fàn)巸?yōu)勢(shì)、保持可持續(xù)發(fā)展、實(shí)施精細(xì)化管理的戰(zhàn)略選擇。”
李部長(zhǎng)繼續(xù)說(shuō)道：“大家知道， ERP系統(tǒng)它以供應(yīng)鏈為主線，包括從銷售訂單或生產(chǎn)經(jīng)營(yíng)計(jì)劃—生產(chǎn)排程—組織采購(gòu)—安排生產(chǎn)—銷售發(fā)貨的整個(gè)過(guò)程，著力于計(jì)劃流、物流、信息流、資金流的統(tǒng)一運(yùn)轉(zhuǎn)，通過(guò)計(jì)劃流驅(qū)動(dòng)物流，通過(guò)物流驅(qū)動(dòng)資金流的良性循環(huán)。從ERP的角度來(lái)看，SAP系統(tǒng)確實(shí)不辱‘全球最佳’這一稱號(hào)。但從數(shù)據(jù)挖掘的角度 著眼，關(guān)注新產(chǎn)品設(shè)計(jì)、改進(jìn)產(chǎn)品質(zhì)量、降低生產(chǎn)成本、設(shè)備故障檢測(cè)等這些主題。這些方面涉及到基礎(chǔ)自動(dòng)化（L1）、過(guò)程自動(dòng)化（L2）、產(chǎn)線管控（MES）、經(jīng)營(yíng)管理(ERP)、決策支持(DSS)等信息系統(tǒng)?？墒沁@五級(jí)系統(tǒng)并沒(méi)有完全整合，在一定程度上還是‘信息孤島’。當(dāng)確定了數(shù)據(jù)挖掘的目標(biāo)后，就需要對(duì)數(shù)據(jù)進(jìn)行整理。當(dāng)然，像我們這樣正在進(jìn)軍世界五百?gòu)?qiáng)的大型鋼鐵公司，可以通過(guò)數(shù)據(jù)挖掘解決的問(wèn)題太多了，最好是統(tǒng)一規(guī)劃，建立數(shù)據(jù)倉(cāng)庫(kù)。”
李部長(zhǎng)道：“目前我國(guó)的大中型企業(yè)不乏信息化方面的技術(shù)人員，但懂得數(shù)據(jù)挖掘的人才寥寥無(wú)幾，在這種條件下開展數(shù)據(jù)挖掘工作，一方面需要與高校等科研單位或?qū)I(yè)的數(shù)據(jù)挖掘公司合作，另一方面還要加強(qiáng)數(shù)據(jù)挖掘知識(shí)培訓(xùn)，培養(yǎng)一些既精通本領(lǐng)域業(yè)務(wù)，又熟悉數(shù)據(jù)挖掘流程，了解數(shù)據(jù)挖掘方法的技術(shù)骨干。這樣，行業(yè)領(lǐng)域技術(shù)人員和數(shù)據(jù)挖掘?qū)＜乙黄鸩拍軓膶?shí)際工作中提煉出可以通過(guò)數(shù)據(jù)挖掘方法解決的問(wèn)題，建立合理的數(shù)據(jù)模型，客觀地評(píng)估數(shù)據(jù)挖掘的結(jié)果。”
李部長(zhǎng)接著說(shuō)：“組建了團(tuán)隊(duì)以后，怎樣開展工作呢？大家首先要清楚地認(rèn)識(shí)到，數(shù)據(jù)挖掘可以解決企業(yè)生產(chǎn)、管理中的很多用常規(guī)方法難以處理的問(wèn)題，但數(shù)據(jù)挖掘也不是萬(wàn)能的，不能包攬所有問(wèn)題。而且還會(huì)有一些問(wèn)題應(yīng)用經(jīng)典的數(shù)據(jù)挖掘方法無(wú)法得到滿意的結(jié)果，需要數(shù)據(jù)挖掘?qū)＜裔槍?duì)具體問(wèn)題建立相應(yīng)的數(shù)學(xué)模型并設(shè)計(jì)特有的求解算法才能解決。因此，開展數(shù)據(jù)挖掘的初期，最好選擇一些相對(duì)容易的問(wèn)題，這樣，一方面能夠很快領(lǐng)略到數(shù)據(jù)挖掘的奧妙，另一方面為解決較為復(fù)雜的問(wèn)題積累經(jīng)驗(yàn)。”

數(shù)據(jù)挖掘

李部長(zhǎng)道：“我們認(rèn)為硅鋼縱條紋問(wèn)題是我們迫在眉睫、不能回避的問(wèn)題。雖然有相當(dāng)?shù)碾y度，但也得背水一戰(zhàn)。在硅鋼縱條紋項(xiàng)目完成后，我們繼續(xù)進(jìn)行基于支撐向量機(jī)和遺傳算法的熱連軋質(zhì)量控制方法研究。經(jīng)公司領(lǐng)導(dǎo)同意后，我們鋼鐵公司和數(shù)據(jù)挖掘公司先簽訂了消除硅鋼鋼板縱條紋缺陷的數(shù)據(jù)挖掘方法研究技術(shù)協(xié)議。雙方?jīng)Q定共同組建數(shù)據(jù)挖掘團(tuán)隊(duì)，團(tuán)隊(duì)由專家組、數(shù)據(jù)組、算法組、軟件組和部署組5個(gè)組構(gòu)成，由李部長(zhǎng)擔(dān)任甲方數(shù)據(jù)挖掘項(xiàng)目經(jīng)理，負(fù)責(zé)整體負(fù)責(zé)數(shù)據(jù)項(xiàng)目的實(shí)施。由數(shù)據(jù)挖掘公司的盧經(jīng)理?yè)?dān)任乙方項(xiàng)目經(jīng)理，具體開展數(shù)據(jù)挖掘工作。”

數(shù)據(jù)挖掘項(xiàng)目實(shí)施

“李部長(zhǎng)，這回你可謂騎馬上獨(dú)木橋——回不得頭了！”S鋼鐵公司的趙總說(shuō)。
李部長(zhǎng)顯得不慌不忙的樣子：“研究團(tuán)隊(duì)成立后各小組立即緊鑼密鼓地按照‘跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程’既有分工又相互協(xié)作地開展工作，經(jīng)過(guò)一個(gè)半月的奮戰(zhàn)，終于取得了可喜的成果。”
數(shù)據(jù)挖掘流程圖
李部長(zhǎng)用光筆指著這張流程圖說(shuō)：“為了低成本、易操作、高效、可靠地進(jìn)行數(shù)據(jù)挖掘，經(jīng)過(guò)數(shù)據(jù)挖掘標(biāo)準(zhǔn)化聯(lián)盟對(duì)十幾年數(shù)據(jù)挖掘?qū)嵺`進(jìn)行經(jīng)驗(yàn)總結(jié)和理論抽象，創(chuàng)建了跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程，即CRoss Industry Standard Process for Data Mining，簡(jiǎn)稱CRISP-DM。它包括業(yè)務(wù)理解、數(shù)據(jù)理解以及收集、數(shù)據(jù)準(zhǔn)備、建立模型、模型評(píng)估和部署六個(gè)階段。我們消除硅鋼鋼板縱條紋缺陷的數(shù)據(jù)挖掘方法項(xiàng)目也是按照這六個(gè)步驟進(jìn)行的。”

1 業(yè)務(wù)理解階段(business understanding)

數(shù)據(jù)挖掘方法-業(yè)務(wù)理解階段

李部長(zhǎng)手中的光筆指著投影幕：“我代表甲方提出，硅鋼縱條紋問(wèn)題的需求很明確，就是要應(yīng)用數(shù)據(jù)挖掘方法找出導(dǎo)致縱條紋的關(guān)鍵因素，并實(shí)現(xiàn)對(duì)關(guān)鍵因素的控制達(dá)到消除硅鋼縱條紋的目的。”
 “在第一次數(shù)據(jù)挖掘會(huì)議上，我先匯報(bào)了硅鋼生產(chǎn)線出現(xiàn)縱條紋缺陷的情況。我們公司技術(shù)中心教授級(jí)高工劉主任從冶金學(xué)原理方面陳述了縱條紋產(chǎn)生的機(jī)理，軋鋼廠楊總工描述了硅鋼生產(chǎn)流程并分析了影響硅鋼縱條紋的因素。X大學(xué)數(shù)據(jù)挖掘中心金教授介紹了對(duì)硅鋼縱條紋問(wèn)題數(shù)據(jù)建模的初步設(shè)想。經(jīng)過(guò)各小組成員一起認(rèn)真分析認(rèn)為，硅鋼縱條紋問(wèn)題有望通過(guò)非平衡的分類方法解決。最后，提出了將硅鋼縱條紋比率由現(xiàn)在的12.1%降低到1.8%的目標(biāo)。”

2 數(shù)據(jù)理解階段(data understanding)

數(shù)據(jù)挖掘-數(shù)據(jù)理解階段

“下一步我們進(jìn)入了數(shù)據(jù)挖掘的數(shù)據(jù)理解階段。在這一階段，我們根據(jù)硅鋼縱條紋產(chǎn)生的機(jī)理和硅鋼生產(chǎn)流程，經(jīng)過(guò)反復(fù)篩選，初步確定硅鋼縱條紋的影響因素有連鑄中包溫度、連鑄拉速、鑄坯成分、粗軋出口溫度、精軋出口溫度和卷取溫度等共21個(gè)。”李部長(zhǎng)說(shuō)。

熱連軋工藝流程

李部長(zhǎng)得意地說(shuō)：“用了5天時(shí)間，數(shù)據(jù)組就將數(shù)據(jù)從相關(guān)部門收集來(lái)了。他們對(duì)各部門的數(shù)據(jù)瀏覽，發(fā)現(xiàn)數(shù)據(jù)有不少缺失，甚至還有明顯的異常。進(jìn)一步分析發(fā)現(xiàn)，有些影響因素的數(shù)據(jù)方差特別小，于是便將它們認(rèn)為是常量。數(shù)據(jù)組一致認(rèn)為雖然從理論上說(shuō)這些因素對(duì)硅鋼縱條紋有作用，但生產(chǎn)工藝控制命中率足夠高，使得相應(yīng)的影響因素?cái)?shù)據(jù)變化很小，對(duì)硅鋼縱條紋的作用幾乎恒定不變。于是將這些影響因素刪除，影響因素從原來(lái)的21個(gè)減少到15個(gè)。最后，數(shù)據(jù)組給出了影響縱條紋的因素列表，并對(duì)數(shù)據(jù)具體含義、命中目標(biāo)值、異常、缺失等進(jìn)行了詳細(xì)的描述，形成了《數(shù)據(jù)收集及質(zhì)量檢驗(yàn)報(bào)告》。”

3 數(shù)據(jù)準(zhǔn)備階段(data preparation)

數(shù)據(jù)挖掘-數(shù)據(jù)準(zhǔn)備階段

李部長(zhǎng)接著說(shuō)：“數(shù)據(jù)理解階段已經(jīng)初步確定，硅鋼縱條紋的主要影響因素有15個(gè)，包含連鑄中包溫度t1、t2、t3，連鑄拉速v1、v2、v3（數(shù)據(jù)來(lái)源于連鑄數(shù)據(jù)庫(kù)），鑄坯成分C、Si、Mn、S、P、Al（數(shù)據(jù)由檢化驗(yàn)數(shù)據(jù)庫(kù)獲得），粗軋出口溫度RT0、精軋出口溫度FT6和卷取溫度CT（要從軋鋼數(shù)據(jù)庫(kù)提?。＿@些數(shù)據(jù)可由鑄坯編號(hào)、轉(zhuǎn)爐編號(hào)和硅鋼卷號(hào)關(guān)聯(lián)形成一個(gè)數(shù)據(jù)表。然后再對(duì)這個(gè)表進(jìn)行空值及異常值處理、離群值剔除操作。”
李部長(zhǎng)：“一般最好不要輕易刪除數(shù)據(jù)，對(duì)于空值、異常值處理、離群值通常采取均值、迭代回歸等方法進(jìn)行補(bǔ)缺或修正處理，尤其在樣本數(shù)量較少的情況下更應(yīng)當(dāng)如此。不過(guò)經(jīng)過(guò)1個(gè)多月的生產(chǎn)數(shù)據(jù)積累，我們采集的數(shù)據(jù)量比較充分，刪除極少量‘壞’樣本對(duì)數(shù)據(jù)建模不會(huì)有什么影響。”

4 建模階段(modeling)

數(shù)據(jù)建模

李部長(zhǎng)指著大屏幕說(shuō)道：“硅鋼縱條紋問(wèn)題初步分析就是一個(gè)非平衡分類問(wèn)題，可將幾乎所有的分類問(wèn)題的數(shù)學(xué)模型和求解算法統(tǒng)統(tǒng)試驗(yàn)了多遍，所得到模型的預(yù)測(cè)能力都非常差。后來(lái)發(fā)現(xiàn)硅鋼縱條紋數(shù)據(jù)集不僅是非平衡數(shù)據(jù)集，而且是不相容數(shù)據(jù)。”

數(shù)據(jù)挖掘

 “硅鋼生產(chǎn)是非常復(fù)雜的生產(chǎn)過(guò)程，產(chǎn)生縱條紋的影響因素很多，為了簡(jiǎn)化問(wèn)題和數(shù)據(jù)獲取方便，我們忽略了一些對(duì)縱條紋作用相對(duì)較小的影響因素，這樣就會(huì)存在很多硅鋼產(chǎn)品其影響縱條紋的因素非常相同或相近，但縱條紋的類別完全相反。這樣的樣本稱為不相容樣本，相應(yīng)的數(shù)據(jù)集稱為不相容數(shù)據(jù)集。”
李部長(zhǎng)指向圖上的紅點(diǎn)：“這些紅點(diǎn)大部分中還套有藍(lán)色的‘+’號(hào)，這些樣本就是不相容數(shù)據(jù)？”
李部長(zhǎng)繼續(xù)說(shuō)道：“不知大家留心沒(méi)有，圖的左下方全是藍(lán)色的‘+’號(hào)，代表這一片區(qū)域都是正品，是生產(chǎn)的‘優(yōu)區(qū)’，右上方藍(lán)色和紅色交疊，表明這部分區(qū)域次品正品都有，是生產(chǎn)的‘劣區(qū)’。我們只要使生產(chǎn)在優(yōu)區(qū)進(jìn)行的規(guī)則就行了。”
“我們先提出了一種新的分類準(zhǔn)則，稱為支持度最大化準(zhǔn)則，即分類器分出的‘優(yōu)區(qū)’的樣本盡可能的多。還提出了實(shí)現(xiàn)支持度最大化準(zhǔn)則的代價(jià)敏感損失函數(shù)，在此基礎(chǔ)上才建立了消除硅鋼縱條紋缺陷的L1正則化模型，還創(chuàng)新性的設(shè)計(jì)了求解該模型的L1稀疏迭代算法。”

數(shù)據(jù)建模

李部長(zhǎng)的光筆指向圖中間的直線：“這條線就是模型求解得出的生產(chǎn)‘優(yōu)區(qū)’和‘劣區(qū)’的分界線，線的左面全是正品，優(yōu)區(qū)樣本的數(shù)量對(duì)所有樣本的比率即支持度高達(dá)49.11%。如果將生產(chǎn)控制在優(yōu)區(qū)進(jìn)行，就會(huì)極大的降低硅鋼縱條紋出現(xiàn)的幾率。”

5 模型評(píng)估階段(evaluation)

數(shù)據(jù)挖掘-模型評(píng)估

李部長(zhǎng)說(shuō)：“模型評(píng)估是至關(guān)重要的一個(gè)環(huán)節(jié)，未經(jīng)過(guò)評(píng)估的模型千萬(wàn)不可直接就去應(yīng)用。因?yàn)樗贸龅哪Ｐ椭皇峭ㄟ^(guò)已有的數(shù)據(jù)得出，對(duì)未來(lái)數(shù)據(jù)的預(yù)測(cè)能力如何，一定要經(jīng)過(guò)實(shí)踐的檢驗(yàn)。”
 “我們獲得的分界線即分類器是線性的，我們可以根據(jù)每一個(gè)變量前面的系數(shù)的正負(fù)判斷其對(duì)縱條紋是正面影響還是負(fù)面影響，依據(jù)其絕對(duì)值的相對(duì)大小衡量相應(yīng)的變量對(duì)縱條紋的作用大小。從分類器的表達(dá)式容易看出，Si、FT6、Al和P為硅鋼縱條紋的主要影響因素，這與理論分析的定性結(jié)論相符。”

6 部署階段(deployment)

數(shù)據(jù)挖掘-模型部署

李部長(zhǎng)：“我們將原來(lái)生產(chǎn)控制策略中影響硅鋼縱條紋的15個(gè)因素的命中目標(biāo)值代入所得到得分類器中，發(fā)現(xiàn)它正好位于‘優(yōu)區(qū)’和‘劣區(qū)’分界線偏右處?？梢?，這正是硅鋼縱條紋比率高的原因。為了保持生產(chǎn)的穩(wěn)定進(jìn)行，我們只對(duì)硅鋼縱條紋影響最大的4個(gè)因素的命中目標(biāo)值作了調(diào)整，將調(diào)整后的15個(gè)影響因素的目標(biāo)值代入所得的分類器中，結(jié)果落入‘優(yōu)區(qū)’和‘劣區(qū)’分界線的左側(cè)。”
李部長(zhǎng)：“我們將一個(gè)半月來(lái)的數(shù)據(jù)挖掘工作進(jìn)行了詳細(xì)總結(jié)，最后完成了《應(yīng)用部署報(bào)告》，上報(bào)公司領(lǐng)導(dǎo)批準(zhǔn)實(shí)施改進(jìn)的生產(chǎn)控制策略。”
李部長(zhǎng)鏗鏘地回答道：“董事長(zhǎng)召集公司技術(shù)中心硅鋼研究室的幾位研究員、硅鋼生產(chǎn)線的主要技術(shù)人員和國(guó)內(nèi)著名硅鋼專家W鋼鐵公司的施總工對(duì)我們改進(jìn)的控制策略進(jìn)行了反復(fù)論證，最后同意了我們的方案。”
“一個(gè)月后統(tǒng)計(jì)結(jié)果令人振奮，硅鋼縱條紋的比率降低到了1.65%，產(chǎn)品的各項(xiàng)性能指標(biāo)達(dá)到了國(guó)際先進(jìn)水平。”李部長(zhǎng)激動(dòng)的說(shuō)。
服務(wù)熱線
400-608-2558
咨詢熱線
15502965860
美林?jǐn)?shù)據(jù)
微信掃描二維碼，立即在線咨詢