機器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，廊括眾多：涉及到概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。

它是人工智能的核心，是使計算機具有智能的根本途徑。如果以人來說明的話，機器學(xué)習(xí)相當(dāng)于人的學(xué)習(xí)能力和發(fā)展能力。

我們對機器學(xué)習(xí)的認識，不能管中窺豹，要全面一些，了解他的前世今生。即它的發(fā)展歷程是怎么樣的；于今天而言，它的現(xiàn)狀又是怎么樣的；在未來，它將會有哪些全新的發(fā)展。橫向來看。機器學(xué)習(xí)的分類又都有哪些；它的算法有哪些；在哪些領(lǐng)域有它的應(yīng)用。

一、機器學(xué)習(xí)的發(fā)展歷程

機器學(xué)習(xí)的發(fā)展和人工智能發(fā)展是離不開的，機器學(xué)習(xí)是人工智能研究發(fā)展到一定階段的必然產(chǎn)物。

人工智能的研究歷史有著一條從以“推理”為重點，到以“知識”為重點，再到以“學(xué)習(xí)”為重點的自然、清晰的脈絡(luò)。下面是人工智能發(fā)展的三個時期：

推理期

時間為1950s~1970s，人們認為只要給機器賦予邏輯推理能力，機器就能具有智能。這一階段的代表性工作主要有A. Newell和H. Simon的“邏輯理論家”程序以及此后的“通用問題求解”程序等，這些工作在當(dāng)時取得了令人振奮的成果。例如，“邏輯理論家”程序在1952年證明了著名數(shù)學(xué)家羅素和懷特海的名著《數(shù)學(xué)原理》中的38條定理，在1963年證明了全部的52 條定理，而且定理 2.85甚至比羅素和懷特海證明得更巧妙。A.Newell和H.Simon因此獲得了1975年圖靈獎。然而，隨著研究向前發(fā)展，人們逐漸認識到，僅具有邏輯推理能力是遠遠實現(xiàn)不了人工智能的。E.A. Feigenbaum等人認為，要使機器具有智能，就必須設(shè)法使機器擁有知識。

知識期

時間為1970s~1980s，在這一時期，大量專家系統(tǒng)問世，在很多領(lǐng)域做出了巨大貢獻。E.A. Feigenbaum 作為“知識工程”之父在 1994 年獲得了圖靈獎。但是，專家系統(tǒng)面臨“知識工程瓶頸”，簡單地說，就是由人來把知識總結(jié)出來再教給計算機是相當(dāng)困難的。于是，一些學(xué)者想到，如果機器自己能夠?qū)W習(xí)知識該多好

學(xué)習(xí)期

時間為1980s~現(xiàn)在，機器學(xué)習(xí)開始受到重視，成為一個獨立的學(xué)科領(lǐng)域并開始快速發(fā)展、各種機器學(xué)習(xí)技術(shù)百花齊放的時期。事實上，圖靈在1950年提出圖靈測試的文章中就已經(jīng)提到了機器學(xué)習(xí)的可能，而1950s其實已經(jīng)開始有機器學(xué)習(xí)相關(guān)的研究工作，主要集中在基于神經(jīng)網(wǎng)絡(luò)的連接主義學(xué)習(xí)方面，代表性工作主要有F.Rosenblatt的感知機、B.Widrow的Adaline等。

二、機器學(xué)習(xí)的研究現(xiàn)狀

機器學(xué)習(xí)作為人工智能的關(guān)鍵核心技術(shù)，受到了前所未有的重視和快速發(fā)展。深入研究其發(fā)展現(xiàn)狀和競爭格局，有助于為企業(yè)戰(zhàn)略和相關(guān)產(chǎn)業(yè)政策制定提供科學(xué)決策依據(jù)。

基于 DII 數(shù)據(jù)庫和 WOS 數(shù)據(jù)庫，從發(fā)展階段、熱點與核心領(lǐng)域識別、競爭國家對比三方面，對該技術(shù)領(lǐng)域發(fā)展現(xiàn)狀、競爭格局進行了分析。

機器學(xué)習(xí)技術(shù)處于快速成長期，我國目前也處于快速發(fā)展期；我國在技術(shù)結(jié)構(gòu)布局上存在短板；美國的專利活動最強，我國也屬于技術(shù)活躍者；美國的專利質(zhì)量最高，我國與其相差較大；互聯(lián)網(wǎng)企業(yè)是重要推動力量；熱點領(lǐng)域有智能診斷、自動駕駛儀、教育輔助、語音識別、計算機視覺等；核心領(lǐng)域有排。。.。。.

三、機器學(xué)習(xí)的分類

（一）基于學(xué)習(xí)策略的分類：模擬人腦的機器學(xué)習(xí)、直接采用數(shù)學(xué)方法的機器學(xué)習(xí)

（二）基于學(xué)習(xí)方法的分類：歸納學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、分析學(xué)習(xí)

四、機器學(xué)習(xí)的常見算法

1. 線性回歸

在統(tǒng)計學(xué)和機器學(xué)習(xí)領(lǐng)域，線性回歸可能是最廣為人知也最易理解的算法之一。

預(yù)測建模主要關(guān)注的是在犧牲可解釋性的情況下，盡可能最小化模型誤差或做出最準(zhǔn)確的預(yù)測。我們將借鑒、重用來自許多其它領(lǐng)域的算法（包括統(tǒng)計學(xué)）來實現(xiàn)這些目標(biāo)。

線性回歸模型被表示為一個方程式，它為輸入變量找到特定的權(quán)重（即系數(shù) B），進而描述一條最佳擬合了輸入變量（x）和輸出變量（y）之間關(guān)系的直線。

2. Logistic 回歸

Logistic 回歸是機器學(xué)習(xí)從統(tǒng)計學(xué)領(lǐng)域借鑒過來的另一種技術(shù)。它是二分類問題的首選方法。

像線性回歸一樣，Logistic 回歸的目的也是找到每個輸入變量的權(quán)重系數(shù)值。但不同的是，Logistic 回歸的輸出預(yù)測結(jié)果是通過一個叫作「logistic 函數(shù)」的非線性函數(shù)變換而來的。

logistic 函數(shù)的形狀看起來像一個大的「S」，它會把任何值轉(zhuǎn)換至 0-1 的區(qū)間內(nèi)。這十分有用，因為我們可以把一個規(guī)則應(yīng)用于 logistic 函數(shù)的輸出，從而得到 0-1 區(qū)間內(nèi)的捕捉值（例如，將閾值設(shè)置為 0.5，則如果函數(shù)值小于 0.5，則輸出值為 1），并預(yù)測類別的值。

3. 線性判別分析

Logistic 回歸是一種傳統(tǒng)的分類算法，它的使用場景僅限于二分類問題。如果你有兩個以上的類，那么線性判別分析算法（LDA）是首選的線性分類技術(shù)。

4. 分類和回歸樹

決策樹是一類重要的機器學(xué)習(xí)預(yù)測建模算法。

決策樹可以被表示為一棵二叉樹。這種二叉樹與算法設(shè)計和數(shù)據(jù)結(jié)構(gòu)中的二叉樹是一樣的，沒有什么特別。每個節(jié)點都代表一個輸入變量（x）和一個基于該變量的分叉點（假設(shè)該變量是數(shù)值型的）。

5. 樸素貝葉斯

樸素貝葉斯是一種簡單而強大的預(yù)測建模算法。

該模型由兩類可直接從訓(xùn)練數(shù)據(jù)中計算出來的概率組成：1）數(shù)據(jù)屬于每一類的概率；2）給定每個 x 值，數(shù)據(jù)從屬于每個類的條件概率。一旦這兩個概率被計算出來，就可以使用貝葉斯定理，用概率模型對新數(shù)據(jù)進行預(yù)測。當(dāng)你的數(shù)據(jù)是實值的時候，通常假設(shè)數(shù)據(jù)符合高斯分布（鐘形曲線），這樣你就可以很容易地估計這些概率。

6. K 最近鄰算法

K 最近鄰（KNN）算法是非常簡單而有效的。KNN 的模型表示就是整個訓(xùn)練數(shù)據(jù)集。

對新數(shù)據(jù)點的預(yù)測結(jié)果是通過在整個訓(xùn)練集上搜索與該數(shù)據(jù)點最相似的 K 個實例（近鄰）并且總結(jié)這 K 個實例的輸出變量而得出的。對于回歸問題來說，預(yù)測結(jié)果可能就是輸出變量的均值；而對于分類問題來說，預(yù)測結(jié)果可能是眾數(shù)（或最常見的）的類的值。

關(guān)鍵之處在于如何判定數(shù)據(jù)實例之間的相似程度。如果你的數(shù)據(jù)特征尺度相同（例如，都以英寸為單位），那么最簡單的度量技術(shù)就是使用歐幾里得距離，你可以根據(jù)輸入變量之間的差異直接計算出該值。

7. 學(xué)習(xí)向量量化

KNN 算法的一個缺點是，你需要處理整個訓(xùn)練數(shù)據(jù)集。而學(xué)習(xí)向量量化算法（LVQ）允許選擇所需訓(xùn)練實例數(shù)量，并確切地學(xué)習(xí)這些實例。

8. 支持向量機

支持向量機（SVM）可能是目前最流行、被討論地最多的機器學(xué)習(xí)算法之一。

超平面是一條對輸入變量空間進行劃分的「直線」。支持向量機會選出一個將輸入變量空間中的點按類（類 0 或類 1）進行最佳分割的超平面。在二維空間中，你可以把他想象成一條直線，假設(shè)所有輸入點都可以被這條直線完全地劃分開來。SVM 學(xué)習(xí)算法旨在尋找最終通過超平面得到最佳類別分割的系數(shù)。

9. 袋裝法和隨機森林

隨機森林是最流行也最強大的機器學(xué)習(xí)算法之一，它是一種集成機器學(xué)習(xí)算法。

自助法是一種從數(shù)據(jù)樣本中估計某個量（例如平均值）的強大統(tǒng)計學(xué)方法。你需要在數(shù)據(jù)中取出大量的樣本，計算均值，然后對每次取樣計算出的均值再取平均，從而得到對所有數(shù)據(jù)的真實均值更好的估計。

隨機性來進行次優(yōu)分割。

10. Boosting 和 AdaBoost

Boosting 是一種試圖利用大量弱分類器創(chuàng)建一個強分類器的集成技術(shù)。要實現(xiàn) Boosting 方法，首先你需要利用訓(xùn)練數(shù)據(jù)構(gòu)建一個模型，然后創(chuàng)建第二個模型（它企圖修正第一個模型的誤差）。直到最后模型能夠?qū)τ?xùn)練集進行完美地預(yù)測或加入的模型數(shù)量已達上限，我們才停止加入新的模型。

五、機器學(xué)習(xí)的應(yīng)用

模式識別的應(yīng)用領(lǐng)域廣泛，包括計算機視覺、醫(yī)學(xué)圖像分析、光學(xué)文字識別、自然語言處理、語音識別、手寫識別、生物特征識別、文件分類、搜索引擎等，而這些領(lǐng)域也正是機器學(xué)習(xí)大展身手的舞臺，因此模式識別與機器學(xué)習(xí)的關(guān)系越來越密切。