不可否認，大數(shù)據(jù)已經(jīng)在 21 世紀掀起一場驚濤駭浪。很多人懷揣著成為數(shù)據(jù)科學家的夢想進入數(shù)據(jù)科學世界，上期我們提到了數(shù)據(jù)分析。其實，數(shù)據(jù)分析是一個數(shù)據(jù)消費的過程，在數(shù)據(jù)消費之前的數(shù)據(jù)準備工作，叫做數(shù)據(jù)工程。

數(shù)據(jù)是由許多數(shù)據(jù)源產(chǎn)生的，像生產(chǎn)執(zhí)行系統(tǒng)MES，各種輔助生產(chǎn)的應用系統(tǒng)，產(chǎn)線的設備。這些數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)我們把它叫做原始數(shù)據(jù)。

為了讓業(yè)務決策者使用這些數(shù)據(jù)，需要對其進行采集，清理，轉(zhuǎn)換，存儲，組合，聚合，處理過后的數(shù)據(jù)才是有價值的數(shù)據(jù)。

設計和實現(xiàn)這些數(shù)據(jù)處理的過程叫做數(shù)據(jù)工程。

數(shù)據(jù)的采集，清洗，轉(zhuǎn)換處理，是整個數(shù)據(jù)工程的關鍵，通常我們可以用ETL（Extract-Transform-Load）技術(shù)來實現(xiàn)。

隨著工廠的發(fā)展，各生產(chǎn)線，各部門都會搭建自己的應用系統(tǒng)方便開展自己的業(yè)務，隨著數(shù)字化建設的不斷深入，由于業(yè)務系統(tǒng)之間各自為政，相互獨立造成的數(shù)據(jù)孤島現(xiàn)象尤為普遍，業(yè)務不集成，數(shù)據(jù)不共享，給工廠進行數(shù)據(jù)的報表開發(fā)，數(shù)據(jù)分析，數(shù)據(jù)挖掘帶來了巨大困難。

通過ETL可以連接數(shù)據(jù)孤島，將分離的業(yè)務數(shù)據(jù)整合在一起，統(tǒng)一的采集，處理，共享。

數(shù)據(jù)倉庫是工廠的數(shù)據(jù)中心，所有系統(tǒng)產(chǎn)生的原始數(shù)據(jù)都流向數(shù)據(jù)倉庫，數(shù)據(jù)的存儲，標準化，組合都在數(shù)據(jù)倉庫中完成，最終把有價值的數(shù)據(jù)提供給各大數(shù)據(jù)應用系統(tǒng)。

可以說數(shù)據(jù)倉庫不產(chǎn)生數(shù)據(jù)，也不消費數(shù)據(jù)，只是數(shù)據(jù)的搬運工。

總的來說，如果把數(shù)據(jù)消費過程比作一盤美味的酸辣土豆絲，那數(shù)據(jù)工程就是個做菜的過程，土豆、蔥姜蒜、干紅辣椒、鹽、糖、醋這些原材料就是原始數(shù)據(jù)；去菜場買菜就好比數(shù)據(jù)采集；數(shù)據(jù)清理就是洗土豆，削皮；數(shù)據(jù)轉(zhuǎn)換就好比土豆切成絲，姜蔥蒜切末，辣椒切斷。然后準備工作做好以后就開始炒菜，放入蔥姜蒜末，辣椒段和土豆絲，炒菜過程中會加入適量的醋，鹽，糖調(diào)味，這就好比在對數(shù)據(jù)做組合，聚合處理。而這一切都是發(fā)生在數(shù)據(jù)倉庫這個大廚房。最后呈現(xiàn)就是一盤美味的酸辣土豆絲啦！

據(jù)統(tǒng)計，一個數(shù)據(jù)分析的項目接近80%的時間會花在準備數(shù)據(jù)上，這就是數(shù)據(jù)工程的意義所在。

工業(yè)大數(shù)據(jù)時代，在制造業(yè)產(chǎn)品的全生命周期從市場規(guī)劃、設計、制造、銷售、維護等過程都會產(chǎn)生大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

而智能工廠利用物聯(lián)網(wǎng)、人工智能、云計算、大數(shù)據(jù)技術(shù)提高服務和生產(chǎn)，其本質(zhì)是實現(xiàn)了人、機器、設備、IT系統(tǒng)的通過數(shù)據(jù)互聯(lián)互通。

產(chǎn)生的數(shù)據(jù)越來越多，數(shù)據(jù)采集和集成的需求也越來越多，負責數(shù)據(jù)采集和集成的數(shù)據(jù)工程在向智能工廠邁進的數(shù)字化轉(zhuǎn)型中扮演著舉足輕重的角色。