人工智能就業(yè)市場(chǎng)持續(xù)火熱，越來(lái)越多的學(xué)子投身這一領(lǐng)域。然而，攻讀計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)研究生需要哪些先決條件？你將學(xué)到哪些知識(shí)？攻讀機(jī)器學(xué)習(xí)碩士是一種怎樣的體驗(yàn)？英國(guó)薩里大學(xué)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺專業(yè)碩士 Richmond Alake 對(duì)以上問(wèn)題做了較為全面的解答。

攻讀機(jī)器學(xué)習(xí)碩士的先決條件

在攻讀機(jī)器學(xué)習(xí)高等學(xué)位的過(guò)程中需要選定一些研究課題，這些課題反映了未來(lái)你在機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展的專業(yè)方向。

機(jī)器學(xué)習(xí)領(lǐng)域的任何一門課程都涵蓋了許多知識(shí)量。因此，本文作者攻讀的碩士學(xué)位會(huì)首先確保學(xué)生滿足以下先決條件，然后再進(jìn)行授課。

對(duì)線性代數(shù)和微積分（微分 / 優(yōu)化）有充分的理解；

統(tǒng)計(jì)和概率學(xué)基礎(chǔ)；

編程語(yǔ)言相關(guān)背景；

本科階段畢業(yè)于計(jì)算機(jī)科學(xué)、數(shù)學(xué)、物理或電子與機(jī)械工程等專業(yè)。

進(jìn)入正題，本文作者將一一介紹他在攻讀機(jī)器學(xué)習(xí)碩士階段都學(xué)到了什么。 計(jì)算機(jī)視覺

作者首先介紹攻讀機(jī)器學(xué)習(xí)碩士過(guò)程中遇到的最強(qiáng)大課程模塊：計(jì)算機(jī)視覺。計(jì)算機(jī)視覺和深度學(xué)習(xí)是作者本文非常感興趣的機(jī)器學(xué)習(xí)領(lǐng)域。 各種媒體都對(duì)計(jì)算機(jī)視覺技術(shù)在過(guò)去幾十年中的進(jìn)步贊不絕口。面部識(shí)別系統(tǒng)的橫空出世是該領(lǐng)域必須要提到的一大成就。在一些主要國(guó)際機(jī)場(chǎng)、銀行和政府機(jī)構(gòu)都可以發(fā)現(xiàn)面部識(shí)別系統(tǒng)的身影。

就作者本人而言，他在攻讀碩士學(xué)位的過(guò)程中對(duì)計(jì)算機(jī)視覺的研究是非常有條理的，即并不會(huì)一開始就直接實(shí)現(xiàn)并分析最先進(jìn)的技術(shù)。

事實(shí)上，你需要往回倒退幾步，從學(xué)習(xí)最基礎(chǔ)的圖像處理技術(shù)知識(shí)開始，而這些技術(shù)在人們今天使用的先進(jìn)計(jì)算機(jī)視覺技術(shù)之前就被開發(fā)了出來(lái)。

在深度學(xué)習(xí)課程中，作者了解到，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的較低層從輸入圖像中學(xué)習(xí)到低級(jí)模式，比如線條和邊緣。但在 CNN 被引入到計(jì)算機(jī)視覺領(lǐng)域之前，就已經(jīng)有了一些基于啟發(fā)式的技術(shù)被用于從圖像中檢測(cè)出感興趣區(qū)域（ROI）以及特征提取。

因此，作者學(xué)習(xí)了基于啟發(fā)式的技術(shù)的工作原理，并且在實(shí)際應(yīng)用中運(yùn)用到了這些知識(shí)，在計(jì)算機(jī)視覺方面的研究確保他了解了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)。

以下是作者在研究計(jì)算機(jī)視覺的過(guò)程中學(xué)到的一些關(guān)鍵話題和術(shù)語(yǔ)： 1.尺度不變特征變換（Scale Invariant Feature Transform， SIFT）：這是一種被用于生成圖像的關(guān)鍵點(diǎn)描述子（特征向量）的計(jì)算機(jī)視覺技術(shù)。生成的描述子包含一些特征信息，如邊緣、角、團(tuán)塊等。

描述子還可以用于檢測(cè)不同尺度和失真的圖像中的對(duì)象。SIFT 已經(jīng)被廣泛用于目標(biāo)識(shí)別、手勢(shì)識(shí)別、目標(biāo)跟蹤等應(yīng)用中。SIFT 技術(shù)的關(guān)鍵之處在于它檢測(cè)到的特性對(duì)于任何仿射變換（比如放縮、平移和旋轉(zhuǎn)）都是不變的。SIFT 原始論文鏈接如下：https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf。

2.定向梯度直方圖（Histogram of Orientated Gradients， HOG）：這是一種被用來(lái)從圖像中提取特征的技術(shù)。提取到的特征是圖像中邊和角提供的信息，更具體地說(shuō)是凸顯中的對(duì)象。

簡(jiǎn)而言之，該技術(shù)識(shí)別圖像中邊緣（梯度）、角、線條的位置，獲取邊緣的方向信息。HOG 描述子會(huì)生成一個(gè)直方圖，該直方圖包含從圖像中檢測(cè)到的邊緣和方向信息的分布信息。計(jì)算機(jī)視覺應(yīng)用和圖像處理領(lǐng)域中都能看到這種技術(shù)的身影，更詳細(xì)信息請(qǐng)參閱：https://www.learnopencv.com/histogram-of-oriented-gradients/。

3.主成分分析（Principal Component Analysis， PCA）：這是一種用于降低特征豐富的數(shù)據(jù)集維度的算法。降維是通過(guò)將數(shù)據(jù)點(diǎn)從較高維度投影到維度較低的平面來(lái)實(shí)現(xiàn)的，它仍然保留了信息，并最小化了信息損失。

此外，其它值得一提的話題還有：

線性插值（linear interpolation）

無(wú)監(jiān)督聚類（K - 均值）

視覺詞袋模型（視覺搜索系統(tǒng)）

那么作者在學(xué)習(xí)早期有哪些開發(fā)性研究呢？ 在早期，他開始開發(fā)一些基于計(jì)算機(jī)視覺技術(shù)的應(yīng)用。物體分類是一個(gè)比較熱門的話題，同時(shí)也比較容易學(xué)習(xí)一些關(guān)于它的基本知識(shí)和實(shí)現(xiàn)方法。具體而言，他想要在 Matlab 環(huán)境下開發(fā)一個(gè)視覺搜索系統(tǒng)。

Matlab 是一種用于高效數(shù)值計(jì)算和矩陣處理的編程語(yǔ)言，并且 Matlab 程序庫(kù)配備了一套算法和可視化工具。

由于作者過(guò)去具有 JavaScript、Java、Python 等語(yǔ)言環(huán)境下的開發(fā)經(jīng)驗(yàn)，他很快就學(xué)會(huì)了 Matlab 編程語(yǔ)法，從而可以專注于計(jì)算機(jī)視覺方面的研究。 更多視覺搜索系統(tǒng)的信息

作者要實(shí)現(xiàn)的視覺系統(tǒng)是相當(dāng)基礎(chǔ)的，其工作原理是：用戶向系統(tǒng)傳入一張查詢圖像，然后系統(tǒng)返回的結(jié)果是一組與輸入查詢圖像相似的圖像。值得一提的是，該系統(tǒng)包含一個(gè)存儲(chǔ)圖像的數(shù)據(jù)庫(kù)，系統(tǒng)從中提取返回的結(jié)果圖像（輸入查詢圖像，輸出結(jié)果圖像）。

這個(gè)視覺系統(tǒng)沒有使用任何花哨的深度學(xué)習(xí)技術(shù)，而是使用了前文提到的一些傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)。

你只需將一個(gè) RGB 圖像轉(zhuǎn)換成灰度圖，然后在圖像上施加一個(gè)特征提取器；之后，系統(tǒng)就會(huì)提取出一個(gè)圖像描述子，并將其表征在一個(gè) N 維特征空間上。在這個(gè)特征空間中，你可以通過(guò)計(jì)算兩個(gè) N 維數(shù)據(jù)點(diǎn)之間的歐氏距離來(lái)得到相似的圖像。 更深層次的理解和應(yīng)用

理解計(jì)算機(jī)視覺并不僅僅局限于處理圖像，人們期望在視頻中也用到這些算法和技術(shù)。實(shí)際上，視頻也就是圖像序列，所以在輸入數(shù)據(jù)的準(zhǔn)備和處理方面，你并不需要學(xué)習(xí)任何新的東西。

如果你使用的是 YOLO、RCNN 這樣的目標(biāo)檢測(cè)框架，在一系列圖像中進(jìn)行目標(biāo)跟蹤看起來(lái)就非常簡(jiǎn)單。但是要認(rèn)識(shí)到，進(jìn)行計(jì)算機(jī)視覺研究并不只是在預(yù)訓(xùn)練好的網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行調(diào)優(yōu)。在這里，你需要理解該領(lǐng)域在過(guò)去幾年中是如何發(fā)展的，而獲得扎實(shí)理解的最佳方法是按照時(shí)間順序?qū)Ω鞣N傳統(tǒng)技術(shù)進(jìn)行綜述。 因此，對(duì)于目標(biāo)跟蹤任務(wù)，作者學(xué)習(xí)了下面幾個(gè)話題：

團(tuán)塊追蹤模塊（Blob trackers）

卡爾曼濾波器

粒子濾波器

馬爾科夫過(guò)程

與計(jì)算機(jī)視覺工程師的相關(guān)性

實(shí)際上，本文作者目前還沒有使用任何傳統(tǒng)的機(jī)器學(xué)習(xí)分類器，也不會(huì)在近期使用它們。

但是為了讓讀者了解前文提到的技術(shù)與成為計(jì)算機(jī)視覺工程師有多大的相關(guān)性，作者以自動(dòng)駕駛汽車、車牌識(shí)別器和車道探測(cè)器為例進(jìn)行展示說(shuō)明，這些都結(jié)合了前文討論過(guò)的一到兩種方法。

深度學(xué)習(xí)

深度學(xué)習(xí)技術(shù)是對(duì)計(jì)算機(jī)視覺研究的自然延伸。一些深度學(xué)習(xí)話題已經(jīng)被包含在了計(jì)算機(jī)視覺模塊中，而其它的深度學(xué)習(xí)話題是對(duì)傳統(tǒng)計(jì)算機(jī)視覺技術(shù)的擴(kuò)展或改進(jìn)。

深度學(xué)習(xí)話題的教學(xué)與作者的計(jì)算機(jī)視覺研究相類似。也就是說(shuō)，在轉(zhuǎn)向?qū)W習(xí)高級(jí)話題和應(yīng)用開發(fā)之前，要對(duì)該領(lǐng)域的基礎(chǔ)知識(shí)有扎實(shí)的理解。

深度學(xué)習(xí)研究從理解最基本的圖像構(gòu)成單元（像素）開始。你很快就會(huì)了解到，數(shù)字圖像是一個(gè)包含許多像素的網(wǎng)格。

在理解了圖像的最基本的基礎(chǔ)之后，你將繼續(xù)學(xué)習(xí)如何在系統(tǒng)內(nèi)存中存儲(chǔ)圖像?！窮ramebuffer」指的是像素在系統(tǒng)內(nèi)存中存儲(chǔ)的位置（大多數(shù) MOOC 都不會(huì)講這一點(diǎn)）

此外，作者還學(xué)習(xí)了關(guān)于攝像設(shè)備如何捕獲數(shù)字圖像知識(shí)。他不得不承認(rèn)，對(duì)智能手機(jī)攝像頭捕獲圖像的方式有一定的直觀理解是很棒的。

接下來(lái)他快速介紹了一些更酷的知識(shí)。

首先是卷積神經(jīng)網(wǎng)絡(luò)。如果你不了解卷積神經(jīng)網(wǎng)絡(luò)（CNN），你就無(wú)法學(xué)習(xí)深度學(xué)習(xí)，它們是密切相關(guān)的。

作者的研究介紹了 CNN 在過(guò)去 20 年中誕生并發(fā)展的時(shí)間線（從 LeNet-5 到 RCNN），以及它們?cè)谌〈鷤鹘y(tǒng)工作流程完成物體識(shí)別等典型計(jì)算機(jī)視覺任務(wù)的作用。

作者的研究中介紹了對(duì)于深度學(xué)習(xí)早期提出的不同 CNN 架構(gòu)的探索。通過(guò)對(duì) AlexNet、LeNet、GoogLeNet 等具體架構(gòu)的研究，他深入理解了卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)部構(gòu)造，以及它們?cè)诮鉀Q諸如目標(biāo)檢測(cè)、識(shí)別和分類等任務(wù)中的應(yīng)用。

此外，作者學(xué)到的一項(xiàng)重要技能是：如何閱讀研究論文。

閱讀研究論文不是老師直接傳授給你的技能。如果你對(duì)深度學(xué)習(xí)和其他任何研究都持嚴(yán)謹(jǐn)?shù)膽B(tài)度，那么很有必要了解信息和研究的來(lái)源。使用深度學(xué)習(xí)框架預(yù)訓(xùn)練好的模型是非常容易的。盡管如此，如果想從事先進(jìn)的研究工作，你還是應(yīng)該了解每個(gè)架構(gòu)的技術(shù)和組件的內(nèi)在細(xì)節(jié)，而只有在研究論文中才能找到這些信息。

以下是作者總結(jié)的深度學(xué)習(xí)模塊中所涉及的一些話題：

多層感知機(jī)（Mutiplayer Perceptron， MLP）：多層感知機(jī)是一些連續(xù)堆疊的若干層感知器模型。MLP 由一個(gè)輸入層、一個(gè)或多個(gè)被稱為隱藏層的 TLU、以及最終的輸出層組成；

神經(jīng)風(fēng)格遷移（NST）：這是一種利用深度卷積神經(jīng)網(wǎng)絡(luò)和相關(guān)算法從一張圖像中提取內(nèi)容信息，并從另一張參考圖像中提取風(fēng)格信息的技術(shù)。在提取了風(fēng)格和內(nèi)容信息之后，會(huì)生成一個(gè)組合圖像，這里生成圖像的內(nèi)容和風(fēng)格來(lái)自于不同的圖像；

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和 LSTM：它們是神經(jīng)網(wǎng)絡(luò)架構(gòu)的變體，可以接受任意大小的輸入，產(chǎn)生隨機(jī)大小的輸出數(shù)據(jù)。RNN 神經(jīng)網(wǎng)絡(luò)架構(gòu)可以學(xué)習(xí)時(shí)序關(guān)系；

人臉檢測(cè)：用于實(shí)現(xiàn)圖像和視頻中的人臉自動(dòng)識(shí)別和定位的系統(tǒng)。人臉檢測(cè)在面部識(shí)別、攝影技術(shù)、運(yùn)動(dòng)捕捉等領(lǐng)域有廣泛的應(yīng)用；

姿態(tài)估計(jì)：從提供的數(shù)字資源（如圖像、視頻或一段圖像序列）中推理出身體主要關(guān)節(jié)位置的過(guò)程。各種姿態(tài)估計(jì)技術(shù)被用于動(dòng)作識(shí)別、人機(jī)交互、虛擬現(xiàn)實(shí)和 3D 圖形游戲資源創(chuàng)建、機(jī)器人等應(yīng)用中；

目標(biāo)識(shí)別：識(shí)別與目標(biāo)對(duì)象相關(guān)聯(lián)的類的過(guò)程。目標(biāo)識(shí)別和目標(biāo)檢測(cè)這兩種技術(shù)的最終結(jié)果和實(shí)現(xiàn)方法是類似的。雖然在各種各樣的系統(tǒng)和算法中，目標(biāo)識(shí)別過(guò)程是先于目標(biāo)檢測(cè)進(jìn)行的；

目標(biāo)追蹤：在一段時(shí)間內(nèi)的圖像序列中識(shí)別、檢測(cè)并跟蹤一個(gè)感興趣目標(biāo)的方法。在監(jiān)控?cái)z像頭和交通監(jiān)控設(shè)備的系統(tǒng)中存在諸多目標(biāo)跟蹤應(yīng)用；

目標(biāo)檢測(cè)：目標(biāo)檢測(cè)是一種可以識(shí)別圖像中是否存在特定目標(biāo)以及其位置的系統(tǒng)。請(qǐng)注意，需要檢測(cè)的對(duì)象可能是單數(shù)，也可能不止一個(gè)。

其它值得注意的主題和子話題還包括神經(jīng)網(wǎng)絡(luò)、反向傳播、CNN 網(wǎng)絡(luò)架構(gòu)，超分辨率、手勢(shì)識(shí)別、語(yǔ)義分割等等。

與計(jì)算機(jī)視覺工程師的相關(guān)性

這基本上就是本文作者所從事的工作。到目前為止，他已經(jīng)將人臉檢測(cè)、手勢(shì)識(shí)別、姿勢(shì)估計(jì)、語(yǔ)義分割模型整合到了游戲邊緣計(jì)算設(shè)備上。

具體來(lái)說(shuō)，在作者當(dāng)前的工作中，他已經(jīng)實(shí)現(xiàn)、訓(xùn)練并評(píng)估了大量的深度學(xué)習(xí)模型。如果你想要緊跟前沿算法、工具，并與先進(jìn)的公司合作，那么深度學(xué)習(xí)就是一個(gè)可以讓你走在人工智能實(shí)際商業(yè)發(fā)展前沿的領(lǐng)域。

論文

撰寫碩士論文旨在使你能夠使用所有學(xué)到的技能、知識(shí)和直觀感受來(lái)設(shè)計(jì)一個(gè)針對(duì)現(xiàn)實(shí)生活中問(wèn)題的解決方案。

本文作者的論文是基于計(jì)算機(jī)視覺技術(shù)對(duì)四足動(dòng)物進(jìn)行運(yùn)動(dòng)分析，其中用到的關(guān)鍵性計(jì)算機(jī)視覺技術(shù)是姿態(tài)估計(jì)。 這是他第一次接觸深度學(xué)習(xí)框架，所以決定以使用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)解決方案來(lái)進(jìn)行運(yùn)動(dòng)分析。

在深度學(xué)習(xí)框架的選擇上，他曾來(lái)回使用 Caffe 和 Keras，但最終選擇了 PyTorch，因?yàn)樵摽蚣芴峁┝伺c任務(wù)相關(guān)的預(yù)訓(xùn)練模型。作者使用的編程語(yǔ)言為 Python。

以下是作者在撰寫論文的過(guò)程中學(xué)到的一些東西：

遷移學(xué)習(xí) / 調(diào)優(yōu)

Python 編程語(yǔ)言

C# 編程語(yǔ)言

姿態(tài)估計(jì)的理論知識(shí)

使用 Unity3D 進(jìn)行仿真的知識(shí)

Google 云平臺(tái)的使用經(jīng)驗(yàn)

關(guān)于運(yùn)動(dòng)分析研究的更多信息

運(yùn)動(dòng)分析指的是從清晰的運(yùn)動(dòng)圖像中獲取運(yùn)動(dòng)的信息和細(xì)節(jié)，或者表示序列到序列的運(yùn)動(dòng)描述的圖像排序。利用運(yùn)動(dòng)分析的應(yīng)用和操作可以得到有關(guān)運(yùn)動(dòng)感知和關(guān)鍵點(diǎn)定位的最直接細(xì)節(jié)信息。復(fù)雜的應(yīng)用程序使得我們可以利用序列相關(guān)的圖像逐幀追蹤目標(biāo)對(duì)象。 目前，在利用時(shí)序數(shù)據(jù)時(shí)，運(yùn)動(dòng)分析及其各種各樣的應(yīng)用形式帶來(lái)了顯著的好處和豐富的信息。不同行業(yè)（如醫(yī)療保健、制造業(yè)、機(jī)械、金融等）都受益于通過(guò)運(yùn)動(dòng)分析提供的結(jié)果和信息。在這些行業(yè)中，運(yùn)動(dòng)分析的各種用例和方法可以解決問(wèn)題或者為消費(fèi)者創(chuàng)造價(jià)值。

在整個(gè)行業(yè)中，運(yùn)動(dòng)分析的多樣性間接地引入了各種各樣的運(yùn)動(dòng)分析任務(wù)子集，如姿態(tài)估計(jì)、目標(biāo)檢測(cè)、目標(biāo)追蹤、關(guān)鍵點(diǎn)檢測(cè)，以及其它不同的子集。 關(guān)于論文的更多信息

本文作者的碩士論文提出了一種利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)進(jìn)行運(yùn)動(dòng)分析的方法。該方法利用四足動(dòng)物合成圖像數(shù)據(jù)集訓(xùn)練了一個(gè)預(yù)訓(xùn)練好的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)。

Keypoint-RCNN 是 PyTorch 程序庫(kù)的內(nèi)置模型，它擴(kuò)展了原始的 Fast-RCNN 和 Faster-RCNN 的功能。具體來(lái)說(shuō)，論文中的方法修改了在 COCO 2017 目標(biāo)檢測(cè)和分割數(shù)據(jù)集上預(yù)訓(xùn)練的 Keypoint-RCNN 神經(jīng)網(wǎng)絡(luò)架構(gòu)，并利用合成的數(shù)據(jù)集對(duì)最后一層進(jìn)行了重訓(xùn)練。

通過(guò)擴(kuò)展人體 17 個(gè)關(guān)節(jié)的關(guān)鍵點(diǎn)檢測(cè)基線框架，作者展示了該框架的一種擴(kuò)展變體，它可以預(yù)測(cè)若干生成的帶有 26 個(gè)關(guān)節(jié)的四足動(dòng)物的主要關(guān)節(jié)位置。

作者采用定量和定性評(píng)價(jià)策略，展示了改進(jìn)后的 Keypoint-RCNN 架構(gòu)在預(yù)測(cè)人工四足動(dòng)物關(guān)鍵點(diǎn)時(shí)的視覺和度量性能。

緊跟最新研究，持之以恒地學(xué)習(xí)

機(jī)器學(xué)習(xí)領(lǐng)域正發(fā)生著日新月異的變化，本文作者的課程學(xué)習(xí)內(nèi)容對(duì)應(yīng)了該領(lǐng)域 2018-2019 年的發(fā)展現(xiàn)狀?，F(xiàn)在到了 2020 年，我們已經(jīng)看到機(jī)器學(xué)習(xí)對(duì)其它領(lǐng)域的巨大貢獻(xiàn)。所以，如果你參加了一門機(jī)器學(xué)習(xí)課程，并且學(xué)習(xí)到了本文作者在這篇文章中并沒有提到的話題或?qū)W科領(lǐng)域，請(qǐng)不要感到驚訝。

不要忘記，在人工智能領(lǐng)域中，你不僅僅需要學(xué)習(xí)創(chuàng)建模型。作為一個(gè)機(jī)器學(xué)習(xí)從業(yè)者，你必須緊跟最新的研究，所以要不斷學(xué)習(xí)。

編輯：jq