回歸問題的條件/前提：

1） 收集的數(shù)據(jù)

2） 假設(shè)的模型，即一個函數(shù)，這個函數(shù)里含有未知的參數(shù)，通過學(xué)習(xí)，可以估計(jì)出參數(shù)。然后利用這個模型去預(yù)測/分類新的數(shù)據(jù)。

1. 線性回歸

假設(shè) 特征 和 結(jié)果 都滿足線性。即不大于一次方。這個是針對 收集的數(shù)據(jù)而言。

收集的數(shù)據(jù)中，每一個分量，就可以看做一個特征數(shù)據(jù)。每個特征至少對應(yīng)一個未知的參數(shù)。這樣就形成了一個線性模型函數(shù)，向量表示形式：

這個就是一個組合問題，已知一些數(shù)據(jù)，如何求里面的未知參數(shù)，給出一個最優(yōu)解。 一個線性矩陣方程，直接求解，很可能無法直接求解。有唯一解的數(shù)據(jù)集，微乎其微。

基本上都是解不存在的超定方程組。因此，需要退一步，將參數(shù)求解問題，轉(zhuǎn)化為求最小誤差問題，求出一個最接近的解，這就是一個松弛求解。

求一個最接近解，直觀上，就能想到，誤差最小的表達(dá)形式。仍然是一個含未知參數(shù)的線性模型，一堆觀測數(shù)據(jù)，其模型與數(shù)據(jù)的誤差最小的形式，模型與數(shù)據(jù)差的平方和最小：

這就是損失函數(shù)的來源。接下來，就是求解這個函數(shù)的方法，有最小二乘法，梯度下降法。

最小二乘法

是一個直接的數(shù)學(xué)求解公式，不過它要求X是列滿秩的，

梯度下降法

分別有梯度下降法，批梯度下降法，增量梯度下降。本質(zhì)上，都是偏導(dǎo)數(shù)，步長/最佳學(xué)習(xí)率，更新，收斂的問題。這個算法只是最優(yōu)化原理中的一個普通的方法，可以結(jié)合最優(yōu)化原理來學(xué)，就容易理解了。

2. 邏輯回歸

邏輯回歸與線性回歸的聯(lián)系、異同？

邏輯回歸的模型 是一個非線性模型，sigmoid函數(shù)，又稱邏輯回歸函數(shù)。但是它本質(zhì)上又是一個線性回歸模型，因?yàn)槌igmoid映射函數(shù)關(guān)系，其他的步驟，算法都是線性回歸的?？梢哉f，邏輯回歸，都是以線性回歸為理論支持的。

只不過，線性模型，無法做到sigmoid的非線性形式，sigmoid可以輕松處理0/1分類問題。

另外它的推導(dǎo)含義：仍然與線性回歸的最大似然估計(jì)推導(dǎo)相同，最大似然函數(shù)連續(xù)積（這里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求導(dǎo)，得損失函數(shù)。

邏輯回歸函數(shù)

表現(xiàn)了0，1分類的形式。

應(yīng)用舉例：

是否垃圾郵件分類？

是否腫瘤、癌癥診斷？

是否金融欺詐？

3. 一般線性回歸

線性回歸 是以 高斯分布 為誤差分析模型； 邏輯回歸 采用的是 伯努利分布 分析誤差。

而高斯分布、伯努利分布、貝塔分布、迪特里特分布，都屬于指數(shù)分布。

而一般線性回歸，在x條件下，y的概率分布 p（y|x） 就是指 指數(shù)分布。

經(jīng)歷最大似然估計(jì)的推導(dǎo)，就能導(dǎo)出一般線性回歸的 誤差分析模型（最小化誤差模型）。

softmax回歸就是 一般線性回歸的一個例子。

有監(jiān)督學(xué)習(xí)回歸，針對多類問題（邏輯回歸，解決的是二類劃分問題），如數(shù)字字符的分類問題，0-9，10個數(shù)字，y值有10個可能性。

而這種可能的分布，是一種指數(shù)分布。而且所有可能的和 為1，則對于一個輸入的結(jié)果，其結(jié)果可表示為：

參數(shù)是一個k維的向量。

而代價(jià)函數(shù)：

是邏輯回歸代價(jià)函數(shù)的推廣。

而對于softmax的求解，沒有閉式解法（高階多項(xiàng)方程組求解），仍用梯度下降法，或L-BFGS求解。

當(dāng)k=2時(shí)，softmax退化為邏輯回歸，這也能反映softmax回歸是邏輯回歸的推廣。

線性回歸，邏輯回歸，softmax回歸 三者聯(lián)系，需要反復(fù)回味，想的多了，理解就能深入了。

4. 擬合：擬合模型/函數(shù)

由測量的數(shù)據(jù)，估計(jì)一個假定的模型/函數(shù)。如何擬合，擬合的模型是否合適？可分為以下三類

合適擬合

欠擬合

過擬合

看過一篇文章（附錄）的圖示，理解起來很不錯：

欠擬合：

合適的擬合

過擬合

過擬合的問題如何解決？

問題起源？模型太復(fù)雜，參數(shù)過多，特征數(shù)目過多。

方法： 1） 減少特征的數(shù)量，有人工選擇，或者采用模型選擇算法

2） 正則化，即保留所有特征，但降低參數(shù)的值的影響。正則化的優(yōu)點(diǎn)是，特征很多時(shí)，每個特征都會有一個合適的影響因子。

5. 概率解釋：線性回歸中為什么選用平方和作為誤差函數(shù)？

假設(shè)模型結(jié)果與測量值 誤差滿足，均值為0的高斯分布，即正態(tài)分布。這個假設(shè)是靠譜的，符合一般客觀統(tǒng)計(jì)規(guī)律。

數(shù)據(jù)x與y的條件概率：

若使 模型與測量數(shù)據(jù)最接近，那么其概率積就最大。概率積，就是概率密度函數(shù)的連續(xù)積，這樣，就形成了一個最大似然函數(shù)估計(jì)。對最大似然函數(shù)估計(jì)進(jìn)行推導(dǎo)，就得出了求導(dǎo)后結(jié)果： 平方和最小公式

6. 參數(shù)估計(jì) 與 數(shù)據(jù)的關(guān)系

擬合關(guān)系

7. 錯誤函數(shù)/代價(jià)函數(shù)/損失函數(shù)：

線性回歸中采用平方和的形式，一般都是由模型條件概率的最大似然函數(shù) 概率積最大值，求導(dǎo)，推導(dǎo)出來的。

統(tǒng)計(jì)學(xué)中，損失函數(shù)一般有以下幾種：

1） 0-1損失函數(shù)

L（Y，f（X））={1，0，Y≠f（X）Y=f（X）

2） 平方損失函數(shù)

L（Y，f（X））=（Y?f（X））2

3） 絕對損失函數(shù)

L（Y，f（X））=|Y?f（X）|

4） 對數(shù)損失函數(shù)

L（Y，P（Y|X））=?logP（Y|X）

損失函數(shù)越小，模型就越好，而且損失函數(shù) 盡量 是一個凸函數(shù)，便于收斂計(jì)算。

線性回歸，采用的是平方損失函數(shù)。而邏輯回歸采用的是 對數(shù) 損失函數(shù)。 這些僅僅是一些結(jié)果，沒有推導(dǎo)。

8. 正則化：

為防止過度擬合的模型出現(xiàn)（過于復(fù)雜的模型），在損失函數(shù)里增加一個每個特征的懲罰因子。這個就是正則化。如正則化的線性回歸 的 損失函數(shù)：

lambda就是懲罰因子。

正則化是模型處理的典型方法。也是結(jié)構(gòu)風(fēng)險(xiǎn)最小的策略。在經(jīng)驗(yàn)風(fēng)險(xiǎn)（誤差平方和）的基礎(chǔ)上，增加一個懲罰項(xiàng)/正則化項(xiàng)。

線性回歸的解，也從

θ=（XTX）?1XTy

轉(zhuǎn)化為

括號內(nèi)的矩陣，即使在樣本數(shù)小于特征數(shù)的情況下，也是可逆的。

邏輯回歸的正則化：

從貝葉斯估計(jì)來看，正則化項(xiàng)對應(yīng)模型的先驗(yàn)概率，復(fù)雜模型有較大先驗(yàn)概率，簡單模型具有較小先驗(yàn)概率。這個里面又有幾個概念。

什么是結(jié)構(gòu)風(fēng)險(xiǎn)最小化？先驗(yàn)概率？模型簡單與否與先驗(yàn)概率的關(guān)系？

經(jīng)驗(yàn)風(fēng)險(xiǎn)、期望風(fēng)險(xiǎn)、經(jīng)驗(yàn)損失、結(jié)構(gòu)風(fēng)險(xiǎn)

期望風(fēng)險(xiǎn)（真實(shí)風(fēng)險(xiǎn)），可理解為 模型函數(shù)固定時(shí)，數(shù)據(jù) 平均的 損失程度，或“平均”犯錯誤的程度。 期望風(fēng)險(xiǎn)是依賴損失函數(shù)和概率分布的。

只有樣本，是無法計(jì)算期望風(fēng)險(xiǎn)的。

所以，采用經(jīng)驗(yàn)風(fēng)險(xiǎn)，對期望風(fēng)險(xiǎn)進(jìn)行估計(jì)，并設(shè)計(jì)學(xué)習(xí)算法，使其最小化。即經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（Empirical Risk Minimization）ERM，而經(jīng)驗(yàn)風(fēng)險(xiǎn)是用損失函數(shù)來評估的、計(jì)算的。

對于分類問題，經(jīng)驗(yàn)風(fēng)險(xiǎn)，就訓(xùn)練樣本錯誤率。

對于函數(shù)逼近，擬合問題，經(jīng)驗(yàn)風(fēng)險(xiǎn)，就平方訓(xùn)練誤差。

對于概率密度估計(jì)問題，ERM，就是最大似然估計(jì)法。

而經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，并不一定就是期望風(fēng)險(xiǎn)最小，無理論依據(jù)。只有樣本無限大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)就逼近了期望風(fēng)險(xiǎn)。

如何解決這個問題？ 統(tǒng)計(jì)學(xué)習(xí)理論SLT，支持向量機(jī)SVM就是專門解決這個問題的。

有限樣本條件下，學(xué)習(xí)出一個較好的模型。

由于有限樣本下，經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp［f］無法近似期望風(fēng)險(xiǎn)R［f］ 。因此，統(tǒng)計(jì)學(xué)習(xí)理論給出了二者之間的關(guān)系：R［f］ 《= （ Remp［f］ + e ）

而右端的表達(dá)形式就是結(jié)構(gòu)風(fēng)險(xiǎn)，是期望風(fēng)險(xiǎn)的上界。而e = g（h/n）是置信區(qū)間，是VC維h的增函數(shù)，也是樣本數(shù)n的減函數(shù)。

VC維的定義在 SVM，SLT中有詳細(xì)介紹。e依賴h和n，若使期望風(fēng)險(xiǎn)最小，只需關(guān)心其上界最小，即e最小化。所以，需要選擇合適的h和n。這就是結(jié)構(gòu)風(fēng)險(xiǎn)最小化Structure Risk Minimization，SRM.

SVM就是SRM的近似實(shí)現(xiàn)，SVM中的概念另有一大筐。就此打住。

1范數(shù)，2范數(shù) 的物理意義：

范數(shù)，能將一個事物，映射到非負(fù)實(shí)數(shù)，且滿足非負(fù)性，齊次性，三角不等式。是一個具有“長度”概念的函數(shù)。

1范數(shù)為什么能得到稀疏解？

壓縮感知理論，求解與重構(gòu)，求解一個L1范數(shù)正則化的最小二乘問題。其解正是 欠定線性系統(tǒng)的解。

2范數(shù)為什么能得到最大間隔解？

2范數(shù)代表能量的度量單位，用來重構(gòu)誤差。

以上幾個概念理解需要補(bǔ)充。

9. 最小描述長度準(zhǔn)則：

即一組實(shí)例數(shù)據(jù)，存儲時(shí)，利用一模型，編碼壓縮。模型長度，加上壓縮后長度，即為該數(shù)據(jù)的總的描述長度。最小描述長度準(zhǔn)則，就是選擇 總的描述長度最小的模型。

最小描述長度MDL準(zhǔn)則，一個重要特性就是避免過度擬合現(xiàn)象。

如利用貝葉斯網(wǎng)絡(luò)，壓縮數(shù)據(jù)，一方面， 模型自身描述長度 隨模型復(fù)雜度的增加而增加 ； 另一方面， 對數(shù)據(jù)集描述的長度隨模型復(fù)雜度的增加而下降。因此， 貝葉斯網(wǎng)絡(luò)的 MD L總是力求在模型精度和模型復(fù)雜度之間找到平衡。當(dāng)模型過于復(fù)雜時(shí)，最小描述長度準(zhǔn)則就會其作用，限制復(fù)雜程度。

奧卡姆剃刀原則：

如果你有兩個原理，它們都能解釋觀測到的事實(shí)，那么你應(yīng)該使用簡單的那個，直到發(fā)現(xiàn)更多的證據(jù)。

萬事萬物應(yīng)該盡量簡單，而不是更簡單。

11. 凸松弛技術(shù)：

將組合優(yōu)化問題，轉(zhuǎn)化為易于求解極值點(diǎn)的凸優(yōu)化技術(shù)。凸函數(shù)/代價(jià)函數(shù)的推導(dǎo)，最大似然估計(jì)法。

12. 牛頓法求解 最大似然估計(jì)

前提條件：求導(dǎo)迭代，似然函數(shù)可導(dǎo)，且二階可導(dǎo)。

迭代公式：

若是 向量形式，

H就是 n*n 的hessian矩陣了。

特征：當(dāng)靠近極值點(diǎn)時(shí)，牛頓法能快速收斂，而在遠(yuǎn)離極值點(diǎn)的地方，牛頓法可能不收斂。 這個的推導(dǎo)？

這點(diǎn)是與梯度下降法的收斂特征是相反的。

線性與非線性：

線性，一次函數(shù)；非線性，輸入、輸出不成正比，非一次函數(shù)。

線性的局限性：xor問題。線性不可分，形式：

x 0

0 x

而線性可分，是只用一個線性函數(shù)，將數(shù)據(jù)分類。線性函數(shù)，直線。

線性無關(guān)：各個獨(dú)立的特征，獨(dú)立的分量，無法由其他分量或特征線性表示。

核函數(shù)的物理意義：

映射到高維，使其變得線性可分。什么是高維？如一個一維數(shù)據(jù)特征x，轉(zhuǎn)換為（x，x^2， x^3），就成為了一個三維特征，且線性無關(guān)。一個一維特征線性不可分的特征，在高維，就可能線性可分了。

邏輯回歸logicalistic regression 本質(zhì)上仍為線性回歸，為什么被單獨(dú)列為一類？

其存在一個非線性的映射關(guān)系，處理的一般是二元結(jié)構(gòu)的0，1問題，是線性回歸的擴(kuò)展，應(yīng)用廣泛，被單獨(dú)列為一類。

而且如果直接應(yīng)用線性回歸來擬合 邏輯回歸數(shù)據(jù)，就會形成很多局部最小值。是一個非凸集，而線性回歸損失函數(shù) 是一個 凸函數(shù)，即最小極值點(diǎn)，即是全局極小點(diǎn)。模型不符。

若采用 邏輯回歸的 損失函數(shù)，損失函數(shù)就能形成一個 凸函數(shù)。

多項(xiàng)式樣條函數(shù)擬合

多項(xiàng)式擬合，模型是一個多項(xiàng)式形式；樣條函數(shù)，模型不僅連續(xù)，而且在邊界處，高階導(dǎo)數(shù)也是連續(xù)的。好處：是一條光滑的曲線，能避免邊界出現(xiàn)震蕩的形式出現(xiàn)（龍格線性）

以下是幾個需慢慢深入理解的概念：

無結(jié)構(gòu)化預(yù)測模型

結(jié)構(gòu)化預(yù)測模型

什么是結(jié)構(gòu)化問題？

adaboost， svm， lr 三個算法的關(guān)系。

三種算法的分布對應(yīng) exponential loss（指數(shù) 損失函數(shù)）， hinge loss， log loss（對數(shù)損失函數(shù)）， 無本質(zhì)區(qū)別。應(yīng)用凸上界取代0、1損失，即凸松弛技術(shù)。從組合優(yōu)化到凸集優(yōu)化問題。凸函數(shù)，比較容易計(jì)算極值點(diǎn)。