數(shù)據(jù)挖掘，從字面上理解，就是在數(shù)據(jù)中找到有用的東西，哪些東西有用就要看具體的業(yè)務(wù)目標(biāo)了。最簡(jiǎn)單的就是統(tǒng)計(jì)應(yīng)用了，比如電商數(shù)據(jù)，如淘寶統(tǒng)計(jì)過(guò)哪個(gè)省購(gòu)買泳衣最多、哪個(gè)省的女生胸罩最大等，進(jìn)一步，可以基于用戶的瀏覽、點(diǎn)擊、收藏、購(gòu)買等行為推斷用戶的年齡、性別、購(gòu)買能力、愛好等能表示一個(gè)人的畫像，就相當(dāng)于用這些挖掘出來(lái)的屬性來(lái)刻畫一個(gè)人，這些還是最簡(jiǎn)單的東西，更深層次的比如預(yù)測(cè)（股票預(yù)測(cè)），但是比較難。

說(shuō)到數(shù)據(jù)挖掘。往往與機(jī)器學(xué)習(xí)離不開。比如分類、聚類、關(guān)聯(lián)規(guī)則挖掘、個(gè)性化推薦、預(yù)測(cè)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等。很多年前說(shuō)人工智能AI（比如產(chǎn)生式系統(tǒng)、專家系統(tǒng)等，好像現(xiàn)在提得比較少了），90年代AI到了瓶頸階段，機(jī)器學(xué)習(xí)是一個(gè)突破口，現(xiàn)在機(jī)器學(xué)習(xí)又遇到了瓶頸階段，深度學(xué)習(xí)又是一個(gè)突破口（其實(shí)神經(jīng)網(wǎng)絡(luò)出來(lái)了很久，但是為什么中間一段時(shí)間沉寂了，在70年代左右出現(xiàn)了低潮（根據(jù)評(píng)論修改），我歸結(jié)是兩點(diǎn)，第一神經(jīng)網(wǎng)絡(luò)就像一個(gè)黑夾子一樣，很多東西不透明，模型的解釋性不強(qiáng)，以及當(dāng)時(shí)沒辦法處理非線性分類問(wèn)題（后面多層感知器便可以對(duì)非線性問(wèn)題進(jìn)行擬合，如解決XOR問(wèn)題），參數(shù)過(guò)多，訓(xùn)練復(fù)雜，容易出錯(cuò)，容易過(guò)擬合，無(wú)法保證全局最優(yōu)，加上很多問(wèn)題無(wú)法用數(shù)學(xué)方法證明（個(gè)人理解）等等，科學(xué)家和工程師還是有區(qū)別的，科學(xué)家都想把一個(gè)問(wèn)題歸結(jié)為數(shù)學(xué)問(wèn)題，然后證明出來(lái)，他們就會(huì)認(rèn)為是有意義的，數(shù)學(xué)上證明其有效往往比做千百個(gè)實(shí)驗(yàn)說(shuō)明其有效要好些吧，工程師往往更在乎效果與結(jié)果），直到后來(lái)出現(xiàn)了BP算法。第二，得益于現(xiàn)在的大規(guī)模計(jì)算工具，能夠處理PB級(jí)別的數(shù)據(jù)了?？傊F(xiàn)在人工智能還遠(yuǎn)沒達(dá)到人類的水平，最后結(jié)果會(huì)怎樣，這個(gè)暫時(shí)不設(shè)想。

目前正處于大數(shù)據(jù)時(shí)代，很多企業(yè)擁有巨大的數(shù)據(jù)，比如阿里擁有消費(fèi)數(shù)據(jù)、百度擁有搜索數(shù)據(jù)，騰訊擁有社交數(shù)據(jù)，消費(fèi)數(shù)據(jù)與搜索數(shù)據(jù)都可以直接變現(xiàn)形成商業(yè)模式，而社交數(shù)據(jù)暫時(shí)還無(wú)法直接變現(xiàn)，至少企鵝現(xiàn)在還在探尋中，舉個(gè)例子，你的朋友圈，qq空間到處是廣告，你是不是很討厭，差評(píng)，呵呵。數(shù)據(jù)有了，還有個(gè)重要的方面，處理數(shù)據(jù)的能力，也就是數(shù)據(jù)處理工具，能夠處理這么大的數(shù)據(jù)量，二者不可或缺，缺一談什么大數(shù)據(jù)都是耍流氓。

對(duì)于數(shù)據(jù)挖掘工程師：

首先你數(shù)學(xué)知識(shí)肯定要扎實(shí)吧，統(tǒng)計(jì)與概率論是最基本（也有人說(shuō)現(xiàn)在的機(jī)器學(xué)習(xí)是統(tǒng)計(jì)學(xué)習(xí)，確實(shí)有道理）、微分與積分肯定要知道、數(shù)學(xué)公式要看的懂吧，進(jìn)階階段最優(yōu)化，隨機(jī)過(guò)程等。建議去看看機(jī)器學(xué)習(xí)十大算法與一些深度學(xué)習(xí)的東西，多看大牛的博客。

對(duì)于語(yǔ)言，搞科研知道matlab就永不怕了，但是對(duì)于工程師嘛，肯定要知道寫代碼吧，不懂寫代碼的工程師都是扯淡，不要寫代碼的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)，那是研究員，懂得一門高級(jí)語(yǔ)言與一門腳本語(yǔ)言就差不多了（如JAVA或C++，Python或R，個(gè)人推薦Java與Python，因?yàn)橄馠adoop、Spark、Hive、MPI之類的都對(duì)Java提供了很方便的接口，Python寫腳本很爽），還需要懂得Linux、Shell、SQL，這都是個(gè)人意見，至少在阿里，用java+sql+python+shell，阿里有個(gè)很牛逼的東西叫做ODPS，現(xiàn)在叫MaxCoupute，可以去阿里云官網(wǎng)查查相關(guān)資料。

對(duì)于你所說(shuō)的excel、SAS、SPSS，數(shù)據(jù)分析人員專用，因?yàn)楣こ處熉铮?a target="_blank">編程語(yǔ)言還是必須的。對(duì)于是否需要學(xué)習(xí)hadoop、hive之類的，個(gè)人意見是只要知道用，然后怎么用，怎么在上面實(shí)現(xiàn)一些算法，怎么去優(yōu)化自己寫的程序就差不多了，它們只是工具，而且更新得很快，就說(shuō)hadoop吧，我還沒完全搞明白，就逐漸被spark取代了，記住，這些只是工具而已。推薦個(gè)加深你數(shù)據(jù)挖掘功力的東西weka（單機(jī)版的）與mahout（分布式的，有基于hadoop與spark），都是開源的。

對(duì)于工作是否需要設(shè)計(jì)新算法，我覺得在企業(yè)還是沒有要求這么高，除非你覺得自己很牛逼，想向google看齊，但是設(shè)計(jì)一個(gè)好的算法并能解決實(shí)際問(wèn)題的算法，不是一朝一夕的，個(gè)人觀點(diǎn)，很多算法可以想出來(lái)，最大的問(wèn)題就是怎樣去證明其正確，其有效。想到企業(yè)中去，多看看google與ms工程性的文章，想研究就多看看學(xué)術(shù)大牛的文章，比如ICML，IJCAI，KDD，NIPS，CVPR等。大部分工作是，將已有的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘算法應(yīng)用到具體的實(shí)踐中，根據(jù)業(yè)務(wù)場(chǎng)景與數(shù)據(jù)特點(diǎn)對(duì)算法進(jìn)行改造或者調(diào)整等。

最后舉個(gè)例子，你在淘寶上買一件衣服，系統(tǒng)怎樣向你推薦你感興趣的并且和這件衣服搭配的褲子或者飾品，這就是數(shù)據(jù)挖掘工程師的一方面工作。