這是一本只有100頁，任何只要有基礎(chǔ)數(shù)學(xué)知識(shí)的人都能看懂的機(jī)器學(xué)習(xí)書籍。本書將涵蓋非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)、包括神經(jīng)網(wǎng)絡(luò)，以及計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)中最重要的一些機(jī)器學(xué)習(xí)問題。

一本100頁的機(jī)器學(xué)習(xí)書籍近日大受好評。

書名The Hundred-Page Machine Learning Book，作者Andriy Burkov是Gartner的機(jī)器學(xué)習(xí)團(tuán)隊(duì)leader，人工智能專業(yè)PhD，有近20年各種計(jì)算項(xiàng)目的工作經(jīng)驗(yàn)。

作者表示，他的目標(biāo)是寫一本任何有基礎(chǔ)數(shù)學(xué)知識(shí)的人都能看懂的機(jī)器學(xué)習(xí)書籍。

這本書的前5章已經(jīng)在該書的配套網(wǎng)站上公開。這本書將涵蓋非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)，包括神經(jīng)網(wǎng)絡(luò)，以及計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)中最重要的一些ML問題，并通過例子提供直觀的解釋。代碼和數(shù)據(jù)也將在網(wǎng)站上公開。

作者相信一本書應(yīng)該“先讀后買”，不僅可以免費(fèi)下載已公開的章節(jié)，你也可以在這里訂閱即將出版的章節(jié)：

http://themlbook.com/wiki/doku.php

已發(fā)布章節(jié)：

第1章：簡介

第一部分：監(jiān)督學(xué)習(xí)

第2章：符號(hào)和定義

第3章：基本算法

第4章：剖析學(xué)習(xí)算法

第5章：基本實(shí)踐

以下是試讀：第3章：基本算法

試讀：第3章：基本算法

在本章中，我們描述了五種算法，這些算法不僅是最著名的，而且要么自身非常有效，要么被用作最有效的學(xué)習(xí)算法的構(gòu)建塊。

3.1 線性回歸

線性回歸是一種常用的回歸學(xué)習(xí)算法，它學(xué)習(xí)的模型是輸入示例特征的線性組合。

問題陳述

我們有一個(gè)標(biāo)記示例的集合，其中N是集合的大小，是示例i = 1的D維特征向量，是一個(gè)實(shí)值目標(biāo)(也是一個(gè)實(shí)數(shù)。

我們想要建立一個(gè)模型作為示例x的特征的線性組合：

其中w是參數(shù)的D維向量，b*是實(shí)數(shù)，wx是點(diǎn)積。符號(hào)表示模型f由兩個(gè)值參數(shù)化：w和b。

圖1：一維示例的線性回歸。

3.2 邏輯回歸

首先要說的是邏輯回歸不是回歸，而是一個(gè)分類學(xué)習(xí)算法。這個(gè)名稱來自統(tǒng)計(jì)學(xué)，因?yàn)檫壿嫽貧w的數(shù)學(xué)公式與線性回歸的數(shù)學(xué)公式相似。

我們將在二元分類的情況下解釋邏輯回歸。但它也可以擴(kuò)展到多元分類。

問題陳述

在邏輯回歸中，我們?nèi)匀幌Ｍ麑⑦@樣的特征的線性組合是從負(fù)無窮大到正無窮大的函數(shù)，而只有兩個(gè)可能的值。

在沒有計(jì)算機(jī)的年代，科學(xué)家們不得不手工進(jìn)行計(jì)算，他們非常想找到一個(gè)線性分類模型。他們發(fā)現(xiàn)如果將負(fù)標(biāo)簽定義為0，將正標(biāo)簽定義為1，就只需要找到一個(gè)codomain為(0,1）的簡單連續(xù)函數(shù)。在這種情況下，如果模型為輸入x返回的值更接近于0，那么我們?yōu)閤分配負(fù)標(biāo)簽，否則，該示例將被標(biāo)記為正。具有這種屬性的一個(gè)函數(shù)是標(biāo)準(zhǔn)邏輯函數(shù)（也稱為sigmoid函數(shù)）：

如圖3所示。

圖3：標(biāo)準(zhǔn)邏輯函數(shù)

3.3 決策樹學(xué)習(xí)

決策樹是一個(gè)可用于做決策的非循環(huán)圖。在圖的每個(gè)分支節(jié)點(diǎn)中，檢查特征向量的特定特征j。如果特征的值低于特定的閾值，則遵循左分支，否則，遵循右分支。當(dāng)?shù)竭_(dá)葉節(jié)點(diǎn)時(shí)，決定該示例所屬的類。

問題陳述

我們有一組帶標(biāo)簽的示例；標(biāo)簽屬于集合{0,1}。我們想要構(gòu)建一個(gè)決策樹，允許我們在給定特征向量的情況下預(yù)測示例的類。

圖4：決策樹構(gòu)建算法的圖示。

3.4 支持向量機(jī)

關(guān)于SVM，有兩個(gè)重要問題需要回答：

如果數(shù)據(jù)中存在噪聲，并且沒有超平面可以將正例和負(fù)例完美分開，該怎么辦？

如果數(shù)據(jù)不能使用平面分離，但可以用高階多項(xiàng)式分離呢？

圖5：線性不可分的情況。左：存在噪音。右：固有的非線性。

如圖5中描述的兩種情況。在左邊的示例中，如果沒有噪聲（異常值或帶有錯(cuò)誤標(biāo)簽的示例），數(shù)據(jù)可以用直線分隔。在正確的情況下，決策邊界是一個(gè)圓，而不是一條直線。

3.5 k-Nearest Neighbors

k-Nearest Neighbors（kNN）是一種非參數(shù)學(xué)習(xí)算法。與其他在構(gòu)建模型后丟棄訓(xùn)練數(shù)據(jù)的學(xué)習(xí)算法相反，kNN將所有訓(xùn)練示例保存在內(nèi)存中。一旦出現(xiàn)了一個(gè)新的、以前沒見過的示例，kNN算法會(huì)在D維空間中找到k個(gè)最接近的例子并返回多數(shù)標(biāo)簽（在分類的情況下）或平均標(biāo)簽（在回歸的情況下）。

兩點(diǎn)的接近程度由距離函數(shù)給出。例如，上面看到的Euclidean distance在實(shí)踐中經(jīng)常使用。距離函數(shù)的另一個(gè)常用選擇是負(fù)余弦相似性。余弦相似度的定義如下：