假如你有一個(gè)硬幣。你把它投擲 3 次，出現(xiàn)了 3 次正面。下一次投擲硬幣正面朝上的概率是多少? 這是一個(gè)從數(shù)據(jù)中估計(jì)參數(shù)的基礎(chǔ)機(jī)器學(xué)習(xí)問題。在這種情況下，我們要從數(shù)據(jù) D 中估算出正面朝上 h 的概率。

最大似然估計(jì)

一種方法是找到能最大化觀測數(shù)據(jù)的似然函數(shù)（即 P(D;h)）的參數(shù) h 的值。在這里，我們用「；」來表示 h 是一個(gè)關(guān)于概率分布 P 的參數(shù)，意味著參數(shù) h 定義了分布 P，但是分布 P 只是說明了觀測數(shù)據(jù) D 成立的可能性有多大。

這是被稱為「最大似然估計(jì)」的最常用的參數(shù)估計(jì)方法。通過該方法，我們估計(jì)出 h=1.0。

但是直覺告訴我們，這是不可能的。對于大多數(shù)的硬幣來說，還是存在反面朝上的結(jié)果的可能性，因此我們通常希望得到像 h=0.5 這樣的結(jié)果。

先驗(yàn)和后驗(yàn)

如何將這種直覺數(shù)學(xué)化地表述出來呢？我們可以定義一個(gè)觀測數(shù)據(jù)和參數(shù)的聯(lián)合概率：p(D, h) = p(D|h)p(h)。我們定義一個(gè)先驗(yàn)分布 p（h) 來表示在觀測前關(guān)于 h 應(yīng)該是什么值的直覺，以及在給定參數(shù) h 的情況下的條件概率 p(D|h)。

如何利用現(xiàn)有的數(shù)據(jù) D 估計(jì)參數(shù) h 呢？我們需要得到后驗(yàn)分布 p（h|D），但是目前只有分布 P(D|h) 和 p(h)。這時(shí)候，你需要貝葉斯公式來幫忙!

貝葉斯公式：P(h|D)=P(D|h)*P(h)/P(D)

但是，這里的分母是一個(gè)問題：

一般來說，計(jì)算這個(gè)積分是不可能的。對于這個(gè)投硬幣的例子來說，如果使用非常特殊的共軛先驗(yàn)分布，就可以繞過這個(gè)問題。

最大后驗(yàn)估計(jì)

但實(shí)際上，我們可以拋開歸一化常數(shù) P(D) 以更巧妙的方式討論 p(h|D)。也就是說歸一化常數(shù)不改變分布的相對大小，我們可以在不做積分的情況下找到模式：

這就是人們所熟知的最大后驗(yàn)估計(jì)（MAP）。有很多種方法可以算出變量 h 的確切值，例如：使用共軛梯度下降法。

貝葉斯參數(shù)估計(jì)

有了最大后驗(yàn)估計(jì)，可以通過先驗(yàn)分布來引入我們的直覺，并且忽略歸一化積分，從而得到后驗(yàn)分布模式下的關(guān)于 h 的點(diǎn)估計(jì)。

但是如果我們試著用近似方法求積分呢？如果按通常的獨(dú)立同分布假設(shè)，我們可以利用這個(gè)事實(shí)：未來可能出現(xiàn)的數(shù)據(jù)樣本值 x 條件獨(dú)立于給定參數(shù) h 時(shí)的觀測值 D。

這并非使用與后驗(yàn)概率 p(h|D) 模式相應(yīng)的參數(shù) h 的單一值來計(jì)算 P(x|h)，而是一個(gè)更加「嚴(yán)格」的方法，它讓我們考慮到所有可能的 h 的后驗(yàn)值。這種方法被稱為貝葉斯參數(shù)估計(jì)。

注意，存在兩個(gè)關(guān)于概率分布的重要任務(wù)：

推斷：給定已知參數(shù)的聯(lián)合分布，通過其它變量的邊緣概率和條件概率估計(jì)一個(gè)變量子集上的概率分布。

參數(shù)估計(jì)：從數(shù)據(jù)中估計(jì)某個(gè)概率分布的未知參數(shù)

貝葉斯參數(shù)估計(jì)將這兩項(xiàng)任務(wù)構(gòu)造成了「同一枚硬幣的兩面」：

估計(jì)在一組變量上定義的概率分布的參數(shù)，就是推斷一個(gè)由原始變量和參數(shù)構(gòu)成的元分布。

當(dāng)然，實(shí)際上要做到這一點(diǎn)，需要計(jì)算困難的積分，我們將不得不用類似于「馬爾可夫鏈蒙特卡洛算法」或者變分推斷等方法取近似。