一、什么是機器學習

1. 含義

機器學習machine learning，是人工智能的分支，專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為，其通過各種算法訓練模型，并用這些模型對新問題進行識別與預測。

本質上機器學習是一種從數(shù)據(jù)或以往的經(jīng)驗中提取模式，并以此優(yōu)化計算機程序的性能標準。

2. 解決什么問題

解決復雜規(guī)則的問題。如果簡單規(guī)則可以實現(xiàn)，則沒必要借助機器學習算法實現(xiàn)。

2009年ACM世界冠軍戴文淵加入百度的時候，百度所有的搜索、廣告都是基于1萬條的專家規(guī)則。借助于機器算法，戴文淵把百度廣告的規(guī)則從1萬條提升到了1000億條。與此相對應的，百度的收入在四年內提升了八倍。

3. 三個名詞之間的關系

人工智能》機器學習》深度學習

以機器學習算法是否應用了神經(jīng)網(wǎng)絡作為區(qū)分標準，應用了多隱含層神經(jīng)網(wǎng)絡的機器學習就是深度學習。

4. 對AI產(chǎn)品經(jīng)理的要求

熟悉機器學習流程（詳見文章第三部分）；

了解機器學習可以解決的問題分類（詳見文章第四部分）；

了解算法的基本原理；

了解工程實踐中算數(shù)據(jù)和計算資源三者間的依賴關系等。

二、機器學習的基礎

1. 機器學習的基礎——數(shù)據(jù)

人工智能產(chǎn)品由數(shù)據(jù)、算法、計算能力三部分組成，而數(shù)據(jù)，是其中的基礎。

全球頂尖人工智能科學家李飛飛的成功離不開ImageNet千萬級的數(shù)據(jù)集。

“ImageNet 讓 AI 領域發(fā)生的一個重大變化是，人們突然意識到構建數(shù)據(jù)集這個苦活累活是 AI 研究的核心，”李飛飛說： “人們真的明白了，數(shù)據(jù)集跟算法一樣，對研究都至關重要?！薄叭绻阒豢?5 張貓的照片，那么你只知道這 5 個攝像機角度、照明條件和最多 5 種不同種類的貓。但是，如果你看過 500 張貓的照片，你就能從更多的例子中發(fā)現(xiàn)共同點?！?/p>

數(shù)據(jù)量多大為好？

千級別：基本要求，可以解決簡單手寫體數(shù)字識別問題，例如MNIST；

萬級別：一般要求，可以解決圖片分類問題，例如cifar-100；

千萬級：比較好，例如ImageNet，準確率2%左右，超過了人類5.1%。

2. 數(shù)據(jù)的衡量

人工智能產(chǎn)品對數(shù)據(jù)除了有量的要求，還有質的要求，衡量數(shù)據(jù)質量的標準包括四個R：關聯(lián)度relevancy（首要因素）、可信性reliability（關鍵因素）、范圍range、時效性recency。

數(shù)據(jù)獲取地址：

ICPSR：www.icpsr.umich.edu

美國政府開放數(shù)據(jù)：www.data.gov

加州大學歐文分校：archive.ics.uci.edu/ml

數(shù)據(jù)堂：www.datatang.com

三、機器學習的流程

機器學習的流程可以劃分為以下幾個主要步驟：目標定義、數(shù)據(jù)收集、數(shù)據(jù)預處理、模型訓練、準確率測試、調參、模型輸出。

機器學習流程拆解：

1. 目標定義

確認機器學習要解決的問題本質以及衡量的標準。

機器學習的目標可以被分為：分類、回歸、聚類、異常檢測等。

2. 數(shù)據(jù)采集

原始數(shù)據(jù)作為機器學習過程中的輸入來源是從各種渠道中被采集而來的。

3. 數(shù)據(jù)預處理

普通數(shù)據(jù)挖掘中的預處理包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉換、數(shù)據(jù)削減、數(shù)據(jù)離散化。

深度學習數(shù)據(jù)預處理包含數(shù)據(jù)歸一化（包含樣本尺度歸一化、逐樣本的均值相減、標準化）和數(shù)據(jù)白化。需要將數(shù)據(jù)分為三種數(shù)據(jù)集，包括用來訓練模型的訓練集（training set），開發(fā)過程中用于調參（parameter tuning）的驗證集（validation set）以及測試時所使用的測試集（test set）。

數(shù)據(jù)標注的質量對于算法的成功率至關重要。

4. 模型訓練

模型訓練流程：每當有數(shù)據(jù)輸入，模型都會輸出預測結果，而預測結果會用來調整和更新W和B的集合，接著訓練新的數(shù)據(jù)，直到訓練出可以預測出接近真實結果的模型。

5. 準確率測試

用第三步數(shù)據(jù)預處理中準備好的測試集對模型進行測試。

6. 調參

參數(shù)可以分為兩類，一類是需要在訓練（學習）之前手動設置的參數(shù)，即超參數(shù)（hypeparameter），另外一類是通常不需要手動設置、在訓練過程中可以被自動調整的參數(shù)（parameter）。

調參通常需要依賴經(jīng)驗和靈感來探尋其最優(yōu)值，本質上更接近藝術而非科學，是考察算法工程師能力高低的重點環(huán)節(jié)。

7. 模型輸出

模型最終輸出應用于實際應用場景的接口或數(shù)據(jù)集。

四、算法分類

機器學習囊括了多種算法，通常按照模型訓練方式和解決任務的不同進行分類。

1. 按照模型訓練方式不同，可以分為

（1）監(jiān)督學習supervised learning

定義：監(jiān)督學習指系統(tǒng)通過對帶有標記信息的訓練樣本進行學習，以盡可能準確地預測未知樣本的標記信息。

常見的監(jiān)督學習類算法包括：人工神經(jīng)網(wǎng)絡artificial neural network、貝葉斯bayesian、決策樹decision tree、線性分類器linear classifier（svm支持向量機）等。

（2）無監(jiān)督學習unsupervised learning

定義：無監(jiān)督學習指系統(tǒng)對沒有標記信息的訓練樣本進行學習，以發(fā)現(xiàn)數(shù)據(jù)中隱藏的結構性知識。

常見的無監(jiān)督學習類算法包括：人工神經(jīng)網(wǎng)絡artificial neural network、關聯(lián)規(guī)則學習association rule learning、分層聚類hierarchical clustering、聚類分析cluster analysis、異常檢測anomaly detection等。

（3）半監(jiān)督學習semi-supervised learning

含義：半監(jiān)督學習指系統(tǒng)在學習時不僅有帶有標記信息的訓練樣本，還有部分標記未知信息的訓練樣本。

常見的半監(jiān)督學習算法包括：生成模型generative models、低密度分離low-density separation、基于圖形的方法graph-based methods、聯(lián)合訓練co-training等。

（4）強化學習reinforcement learning

定義：強化學習指系統(tǒng)從不標記信息，但是會在具有某種反饋信號（即瞬間獎賞）的樣本中進行學習，以學到一種從狀態(tài)到動作的映射來最大化累積獎賞，這里的瞬時獎賞可以看成對系統(tǒng)的某個狀態(tài)下執(zhí)行某個動作的評價。

常見的強化學習算法包括：Q學習Q-learning、狀態(tài)-行動-獎勵-狀態(tài)-行動state-action-reward-state-action，SARSA、DQN deep Q network、策略梯度算法policy gradients、基于模型強化學習model based RL、時序差分學習temporal different learning等。

（5）遷移學習transfer learning

定義：遷移學習指通過從已學習的相關任務中轉移知識來改進學習的新任務，雖然大多數(shù)機器學習算法都是為了解決單個任務而設計的，但是促進遷移學習的算法的開發(fā)是機器學習社區(qū)持續(xù)關注的話題。

遷移學習對人類來說很常見，例如，我們可能會發(fā)現(xiàn)學習識別蘋果可能有助于識別梨，或者學習彈奏電子琴可能有助于學習鋼琴。

常見的遷移學習算法包括：歸納式遷移學習inductive transfer learning、直推式遷移學習transductive transfer learning、無監(jiān)督式遷移學習unsupervised transfer learning、傳遞式遷移學習transitive transfer learning等。

（6）深度學習deep learning

定義：深度學習是指多層的人工神經(jīng)網(wǎng)絡和訓練它的方法。一層神經(jīng)網(wǎng)絡會把大量矩陣數(shù)字作為輸入，通過非線性激活方法取權重，再產(chǎn)生另一個數(shù)據(jù)集合作為輸出。

這就像生物神經(jīng)大腦的工作機理一樣，通過合適的矩陣數(shù)量，多層組織鏈接一起，形成神經(jīng)網(wǎng)絡“大腦”進行精準復雜的處理，就像人們識別物體標注圖片一樣。

常見的深度學習算法包括：深度信念網(wǎng)絡deep belief machines、深度卷積神經(jīng)網(wǎng)絡deep convolutional neural networks、深度遞歸神經(jīng)網(wǎng)絡deep recurrent neural networks、深度波爾茲曼機deep boltzmann machine，DBM、棧式自動編碼器stacked autoencoder、生成對抗網(wǎng)絡generative adversarial networks等。

遷移學習與半監(jiān)督學習的區(qū)別：遷移學習的初步模型是完整的，半監(jiān)督學習的已標注部分無法形成完整的模型。

2. 按照解決任務的不同分類，可以分為

（1）二分類算法two-class classification，解決非黑即白的問題。

（2）多分類算法muti-class classification，解決不是非黑即白的多種分類問題。

（3）回歸算法regression，回歸問題通常被用來預測具體的數(shù)值而非分類。除了返回的結果不同，其他方法與分類問題類似。我們將定量輸出，或者連續(xù)變量預測稱為回歸；將定性輸出，或者離散變量預測稱為分類。

（4）聚類算法clustering，聚類的目標是發(fā)現(xiàn)數(shù)據(jù)的潛在規(guī)律和結構。聚類通常被用做描述和衡量不同數(shù)據(jù)源間的相似性，并把數(shù)據(jù)源分類到不同的簇中。

（5）異常檢測anomaly detection，異常檢測是指對數(shù)據(jù)中存在的不正常或非典型的分體進行檢測和標志，有時也稱為偏差檢測。異常檢測看起來和監(jiān)督學習問題非常相似，都是分類問題。都是對樣本的標簽進行預測和判斷，但是實際上兩者的區(qū)別非常大，因為異常檢測中的正樣本（異常點）非常小。

3. 對AI產(chǎn)品經(jīng)理的要求

產(chǎn)品經(jīng)理應了解和掌握每種常見算法的基本邏輯、最佳使用場景以及每種算法對數(shù)據(jù)的需求。

這樣有助于：

建立必要的知識體系以與研發(fā)人員進行良好的交流；

在團隊需要的時候提供必要的幫助；

識別和評估產(chǎn)品迭代過程中的風險、成本、預期效果等。

五、各類算法的對比

1. 算法與學習過程的對比

監(jiān)督學習——上課：有求知欲的學生從老師那里獲取知識、信息，老師提供對錯指示、告知最終答案的學習過程；

無監(jiān)督學習——自習：沒有老師的情況下，學生自習的過程；

強化學習下——自測：沒有老師提示的情況下，自己對預測的結果進行評估的方法。

2. 算法適用場景的影響因素

業(yè)務核心問題；

數(shù)據(jù)大小、質量；

計算時間要求；

算法精度要求。

3. 算法優(yōu)缺點及適用場景

注意：

（1）目前監(jiān)督學習和強化學習是目前應用范圍最廣且效果最好的機器學習方式。

（2）深度學習將在后續(xù)的文章中單獨介紹。

（3）半監(jiān)督學習依賴以下3個模型假設才能確保它良好的學習性能。

1）平滑假設（Smoothness Assumption）

位于稠密數(shù)據(jù)區(qū)域的兩個距離很近的樣例的類標簽相似，當兩個樣例北稀疏區(qū)域分開時，它們的類標簽趨于不同。

2）聚類假設（Cluster Assumption）

當兩個樣例位于同一聚類簇時，它們在很大的概率在有相同的類標簽。這個假設的等價定義為低密度分類假設（Low Density Separation Assumption），即分類決策邊界應該穿過稀疏數(shù)據(jù)區(qū)域，而避免將稠密數(shù)據(jù)區(qū)域的樣例劃分到?jīng)Q策邊界兩側。

3）流形假設（Manifold Assumption）

將高維數(shù)據(jù)嵌入到低維流形中，當兩個樣例位于低維流形中的一個小局部鄰域內時，它們具有相似的類標簽。