“這一刻你正在應(yīng)對什么挑戰(zhàn)？”這位前研究學(xué)者回應(yīng)道：“嗯，我好像應(yīng)聘成為首席數(shù)據(jù)科學(xué)家了，在一個沒有數(shù)據(jù)的公司里。”

這件事讓人啼笑皆非。離開了數(shù)據(jù)，數(shù)據(jù)科學(xué)家的存在毫無意義。這可不是件個例。本文將討論一些胸懷大志的數(shù)據(jù)科學(xué)家們（以及他們將來的雇主）真正需要了解的事情。

什么是數(shù)據(jù)工程？

如果數(shù)據(jù)科學(xué)是讓數(shù)據(jù)變得有用的一門學(xué)科，那么可以想像數(shù)據(jù)工程是將數(shù)據(jù)變得能用的一門學(xué)問。數(shù)據(jù)工程師們是提供幕后基礎(chǔ)設(shè)施支持的英雄們，這些基礎(chǔ)設(shè)施讓機(jī)器能夠記錄工作，讓海量的數(shù)據(jù)與數(shù)據(jù)科學(xué)工具包兼容儲存。

圖源：LinkedIn

與數(shù)據(jù)科學(xué)家不同，數(shù)據(jù)工程師們更傾向于不花費(fèi)那么多的時間研究數(shù)據(jù)。與此相反，他們研究并處理那些承載數(shù)據(jù)的基礎(chǔ)設(shè)施。數(shù)據(jù)科學(xué)家是數(shù)據(jù)的管理者，而數(shù)據(jù)工程師們是對數(shù)據(jù)管道進(jìn)行管理的人。

圖源：hackernoon

數(shù)據(jù)工程有三種主要工作方式：

· 使數(shù)據(jù)大規(guī)模地儲存（數(shù)據(jù)庫）和傳輸（數(shù)據(jù)管道）。

· 維護(hù)那些支持企業(yè)運(yùn)作的數(shù)據(jù)流。

· 為數(shù)據(jù)科學(xué)提供數(shù)據(jù)集。

如果沒有數(shù)據(jù)，你無法研究數(shù)據(jù)科學(xué)。如果你被一個沒有數(shù)據(jù)和數(shù)據(jù)工程的機(jī)構(gòu)聘用為數(shù)據(jù)科學(xué)總監(jiān)，猜猜誰將會成為一名數(shù)據(jù)工程師？

數(shù)據(jù)工程的艱難之處在哪？

食品進(jìn)購是件簡單的事，如果你只是煮你一個人的晚餐還好說，但規(guī)模擴(kuò)大會將這件瑣事變得復(fù)雜無比——你該如何獲得，存儲和處理20噸的冰淇淋，且讓它一點(diǎn)都沒有融化？

相似地，“數(shù)據(jù)工程”在你為學(xué)校項(xiàng)目下載一個小的電子數(shù)據(jù)表時是相當(dāng)容易的，但當(dāng)你在處理千萬億字節(jié)規(guī)模的文件時就會讓人頭暈眼花。規(guī)模使其本身成為一個復(fù)雜的工程學(xué)科。

不幸的是，了解這兩個學(xué)科其中之一并不代表著你就對另一個的知識有所了解。

如果你有了跑去學(xué)習(xí)兩個學(xué)科的沖動，你可能成為了那個（令人倍有壓力且適得其反的）信念的受害者——數(shù)據(jù)專家們必須對數(shù)據(jù)的所有事項(xiàng)都有所了解。數(shù)據(jù)宇宙正在飛速地?cái)U(kuò)展著，現(xiàn)在是時候讓人們意識到這個領(lǐng)域有多么廣闊了，在數(shù)據(jù)領(lǐng)域的某個領(lǐng)域工作并不自動要求人們?nèi)コ蔀槿艿膶＜摇?/p>

講這么多就是為了說明，這門學(xué)科包含了太多的知識，以至于最有決心的天才也無法全部理解和掌握。與其希望數(shù)據(jù)工程師們?nèi)埽蝗鐔枂柋舜耍ㄒ矄枂栕约海?，“你是哪一類人？”讓我們齊心協(xié)力一起工作，而不是在這條路上孤軍奮斗。

但這不是一個絕佳的學(xué)習(xí)機(jī)會嗎？可能是。這取決于你對已知的學(xué)問有多大的感情。數(shù)據(jù)工程不同于數(shù)據(jù)科學(xué)，所以如果你是個未經(jīng)受過數(shù)據(jù)工程訓(xùn)練的數(shù)據(jù)科學(xué)家，那么你得從零開始。

這可能正是你所尋求的樂趣——只要你帶著開放的眼光一路前行。建立你的數(shù)據(jù)工程團(tuán)隊(duì)可能要花費(fèi)好幾年的時間。當(dāng)然，有理由去學(xué)習(xí)新事物是件好事，但相同的是，你的數(shù)據(jù)科學(xué)“肌肉”可能會因此萎縮。

作為一個類比，想象你是一位能流利使用英日兩語的譯者。你被提供了一個叫做“譯者”的職位。當(dāng)你來到崗位工作時，你發(fā)現(xiàn)你被聘來進(jìn)行將普通話譯為斯瓦希里語的工作，而這兩種語言你都不會說。抓住機(jī)會成為一個四語達(dá)人可能是一件振奮人心且有益的事情，但請從現(xiàn)實(shí)的角度來思考你該如何有效地利用初級培訓(xùn)。

換句話來說，如果一個公司沒有任何的數(shù)據(jù)或者數(shù)據(jù)工程師，那么接受首席數(shù)據(jù)科學(xué)家的工作會在你組建數(shù)據(jù)工程團(tuán)隊(duì)時，為了成為一個數(shù)據(jù)工程師（你很可能還未達(dá)標(biāo)），將你的數(shù)據(jù)科學(xué)家生涯擱置好幾年的時間。

最終，你會很驕傲地看著你所建的團(tuán)隊(duì)，然后意識到你不再需要親自去處理那些細(xì)枝末節(jié)。那時你的團(tuán)隊(duì)已經(jīng)能夠成熟應(yīng)對那些絕妙的神經(jīng)網(wǎng)絡(luò)或者你讀博時研究的復(fù)雜巧妙的貝葉斯定理推論，你就只能袖手旁觀，看著他人完成目標(biāo)。

給你一些小建議

· 弄清你正在接手的事物

如果你在考慮接受一個成為數(shù)據(jù)科學(xué)總管的工作，你第一個應(yīng)該提出的問題是：“誰來保證我的團(tuán)隊(duì)有數(shù)據(jù)能研究？”如果答案是你，嗯，至少你將知道自己的簽約將意味著什么。

· 請記住你是顧客

既然數(shù)據(jù)科學(xué)受數(shù)據(jù)支配，只有數(shù)據(jù)工程師們作為同事可能并不夠。如果那些同事們沒能將你認(rèn)定為他們工作的一個關(guān)鍵客戶，你將面對的是一個艱難的斗爭。如果他們的態(tài)度讓你更多的感受到自己是一個博物館策展人，為了數(shù)據(jù)而保存數(shù)據(jù)，那這可不是一個好兆頭。

· 要有全局觀

誠然你是數(shù)據(jù)工程師們的關(guān)鍵客戶，但很可能你并不是他們的唯一客戶?，F(xiàn)代企業(yè)使用數(shù)據(jù)推動業(yè)務(wù)發(fā)展，通常情況下，無需人為干預(yù)，數(shù)據(jù)就能很好地運(yùn)轉(zhuǎn)。當(dāng)你對公司的貢獻(xiàn)只是“可有可無”時，表現(xiàn)得好像世界都是圍繞著你和你的團(tuán)隊(duì)轉(zhuǎn)的，這是不明智的。

· 堅(jiān)持問責(zé)

在登記你新的十億字節(jié)之前，考慮與數(shù)據(jù)工程同事協(xié)商，讓他們對與你的合作負(fù)責(zé)。如果他們沒有將你拒之門外的反應(yīng)，你的團(tuán)隊(duì)就不太可能蓬勃發(fā)展。
編輯：hfy