機器學習（machine learning） 已然成為無數重要應用的基石——如今，在網絡搜索、垃圾郵件檢測、語音識別以及產品推薦等領域，你都能夠發(fā)現它的身影。如果你或你的團隊正在研發(fā)一款機器學習相關應用，并期待取得較快進展，那么這本書將會是你的得力助手。

?

　　案例：建立貓咪圖片初創(chuàng)公司

　　想象一下，你正在建立一家初創(chuàng)公司，這家公司的產品目標是為貓咪愛好者們提供數不盡的貓咪圖片，你打算應用 神經網絡（neural network） 技術來構建一套計算機視覺系統(tǒng)，通過該系統(tǒng)來識別圖片中的貓。

　　但悲劇的是，目前你的學習算法準確度還不夠好。為了改進這個貓咪檢測器，你正面臨著巨大的壓力?？赡阍撛趺醋瞿?？

　　你的團隊給出了許多建議，例如：

　　● 獲取更多的數據，即收集更多的貓咪圖片

　　● 收集更加多樣化的訓練數據集，圖片中貓的位置可能不常見，也有可能顏色奇異，或者拍攝時使用不同的相機參數

　　● 通過增加梯度下降的迭代次數，使算法訓練得久一些

　　● 嘗試一個擁有更多層/更多隱藏元/更多參數的，規(guī)模更大的神經網絡

　　● 嘗試一個更小的神經網絡

　　● 嘗試加入正則化（例如 L2 正則化）

　　● 改變神經網絡的架構（激活函數，隱藏元數量等等）

　　● 。..

　　在上面眾多的方向中，如果你做出了正確的選擇，就將建立起一個效果領先的貓咪圖片識別平臺，并帶領你的公司取得成功。但如果你選擇了一個糟糕的方向，則可能因此浪費掉幾個月的時間。那么你該如何做出決定呢？

　　這本書將告訴你應該怎么做。眾多的機器學習問題會留下一些線索，告訴你什么樣的嘗試有用，什么樣的沒用。而學會解讀這些線索將會節(jié)省你幾個月甚至幾年的開發(fā)時間。

　　先修知識與符號說明

　　如果你有學習過機器學習相關課程（例如我在 Coursera 開設的機器學習 MOOC），或者有過監(jiān)督學習的應用經驗，這本書的內容對你而言則不難理解。

　　本書假設你熟悉 監(jiān)督學習（supervised learning） 概念，即使用標注（labeled）的訓練樣本（x，y） 來學習一個從 x 映射到 y 的函數。監(jiān)督學習算法主要包括線性回歸（linear regression）、對數幾率回歸（logistic regression，又譯作邏輯回歸、邏輯斯蒂回歸）和神經網絡（neural network）。雖然機器學習的形式有許多種，但當前具備實用價值的大部分機器學習算法都來自于監(jiān)督學習。

　　我將經常提及神經網絡（也被人們稱為“深度學習” ），但你只需對這個概念有基礎的了解便可以閱讀本書后面的內容。

　　規(guī)模驅動機器學習發(fā)展

　　關于深度學習（神經網絡）的一些想法在幾十年前就有了，那為什么它們到現在才流行起來了呢？

　　推動其近期發(fā)展的主要因素有兩個：

　　- 數據可用性（data availability） ：如今人們在數字設備（筆記本電腦、移動設備等）上花費的時間越來越多，對應的數字化行為與活動產生了海量的數據，而這些數據都可以提供給我們的學習算法用來訓練。

　　- 計算規(guī)模（computational scale） ：在近幾年前，我們才開始有能力訓練出規(guī)模足夠大的神經網絡來使用現有的海量數據集。

　　具體來說，即使你積累了更多的數據，但應用在類似于對數幾率回歸（logistic regression）這樣較傳統(tǒng)的學習算法上，其性能表現（performance）也將趨于 “平穩(wěn)” 。這意味著算法的學習曲線將 “變得平緩” ，就算提供更多的數據，算法的性能也將不再提升。

　　傳統(tǒng)學習算法似乎并不知道要如何來處理現今這般規(guī)模量級的數據。

　　在同樣的監(jiān)督學習任務下，選擇訓練一個小型的神經網絡（neutral network， NN），你可能會獲得較好的性能表現：