深入探討機(jī)器學(xué)習(xí)的可視化技術(shù)

機(jī)器學(xué)習(xí)模型有強(qiáng)大而復(fù)雜的數(shù)學(xué)結(jié)構(gòu)。了解其錯綜復(fù)雜的工作原理是模型開發(fā)的一個重要方面。模型可視化對于獲得見解、做出明智的決策和有效傳達(dá)結(jié)果至關(guān)重要。

在本文中，我們將深入探討機(jī)器學(xué)習(xí)可視化的藝術(shù)，探索幫助我們理解復(fù)雜數(shù)據(jù)驅(qū)動系統(tǒng)的各種技術(shù)。文末，還提供了一個可視化示例的實踐代碼。

什么是機(jī)器學(xué)習(xí)中的可視化？

機(jī)器學(xué)習(xí)可視化（簡稱ML可視化）一般是指通過圖形或交互方式表示機(jī)器學(xué)習(xí)模型、數(shù)據(jù)及其關(guān)系的過程。目標(biāo)是使理解模型的復(fù)雜算法和數(shù)據(jù)模式更容易，使技術(shù)和非技術(shù)利益相關(guān)者更容易理解它。

可視化彌合了機(jī)器學(xué)習(xí)模型神秘的內(nèi)部運(yùn)作與我們通過視覺理解模式之間的差距。

通過可視化 ML 模型主要有如下作用：

模型結(jié)構(gòu)可視化：常見的模型類型，如決策樹、支持向量機(jī)或深度神經(jīng)網(wǎng)絡(luò)，通常由許多計算和交互層組成，人類很難掌握這些計算和交互。通過可視化，我們可以更輕松地查看數(shù)據(jù)如何流經(jīng)模型以及轉(zhuǎn)換發(fā)生的位置。

可視化性能指標(biāo)：一旦我們訓(xùn)練了一個模型，我們就需要評估它的性能?？梢暬瘻?zhǔn)確性、精確度、召回率和 F1 分?jǐn)?shù)等指標(biāo)有助于我們了解模型的表現(xiàn)以及需要改進(jìn)的地方。

比較模型分析：在處理多個模型或算法時，結(jié)構(gòu)或性能差異的可視化使我們能夠為特定任務(wù)選擇最佳模型或算法。

特征重要性：了解哪些特征對模型的預(yù)測影響最大至關(guān)重要。特征重要性圖等可視化技術(shù)可以輕松識別驅(qū)動模型結(jié)果的關(guān)鍵因素。

可解釋性：由于其復(fù)雜性，ML模型對人類創(chuàng)建者來說通常是“黑匣子”，因此很難解釋他們的決定?？梢暬梢躁U明特定特征如何影響輸出或模型預(yù)測的魯棒性。

利于溝通：可視化是一種通用語言，用于簡單直觀地傳達(dá)復(fù)雜的想法。它們對于與管理層和其他非技術(shù)利益相關(guān)者有效共享信息至關(guān)重要。

模型結(jié)構(gòu)可視化

了解數(shù)據(jù)如何流經(jīng)模型對于了解機(jī)器學(xué)習(xí)模型如何將輸入特征轉(zhuǎn)換為其輸出至關(guān)重要。

決策樹可視化

決策樹具有大多數(shù)人都熟悉的類似流程圖的結(jié)構(gòu)。每個內(nèi)部節(jié)點(diǎn)都表示基于特定功能值的決策。節(jié)點(diǎn)中的每個分支都表示該決策的結(jié)果。葉節(jié)點(diǎn)表示模型的輸出。

這種結(jié)構(gòu)的可視化提供了決策過程的直接表示，使數(shù)據(jù)科學(xué)家和業(yè)務(wù)利益相關(guān)者能夠理解模型所學(xué)習(xí)的決策規(guī)則。

在訓(xùn)練過程中，決策樹根據(jù)特定標(biāo)準(zhǔn)（通常是基尼雜質(zhì)或信息增益）識別最能分離分支中樣本的特征。換句話說，它決定了最具辨別性的特征。

可視化決策樹（或它們的集合，如隨機(jī)森林或梯度增強(qiáng)樹）涉及其整體結(jié)構(gòu)的圖形渲染，清晰直觀地顯示每個節(jié)點(diǎn)的拆分和決策。樹的深度和寬度以及葉子節(jié)點(diǎn)一目了然。此外，決策樹可視化有助于識別關(guān)鍵特征，這些特征是導(dǎo)致準(zhǔn)確預(yù)測的最具辨別性的屬性。

準(zhǔn)確預(yù)測的路徑可以歸納為四個步驟：

功能清晰：決策樹可視化就像剝開復(fù)雜性層，以揭示關(guān)鍵功能。這類似于查看決策流程圖，其中每個分支表示一個特征，每個決策節(jié)點(diǎn)都包含我們數(shù)據(jù)的關(guān)鍵方面。

判別屬性：決策樹可視化的美妙之處在于它能夠突出顯示最具判別性的特征。這些因素會嚴(yán)重影響結(jié)果，指導(dǎo)模型進(jìn)行預(yù)測。通過可視化樹，我們可以精確定位這些特征，從而了解驅(qū)動模型決策的核心因素。

通往精確度的路徑：決策樹上的每條路徑都是通往精確度的旅程?？梢暬故玖藢?dǎo)致特定預(yù)測的決策序列。這是理解我們的模型用來得出特定結(jié)論的邏輯和標(biāo)準(zhǔn)的黃金。

復(fù)雜中的簡單：盡管機(jī)器學(xué)習(xí)算法很復(fù)雜，但決策樹可視化具有簡單性。它將復(fù)雜的數(shù)學(xué)計算轉(zhuǎn)換為直觀的表示形式，使技術(shù)和非技術(shù)利益相關(guān)者都可以訪問。

機(jī)器學(xué)習(xí)中的決策樹可視化示例：在 Iris 數(shù)據(jù)集上訓(xùn)練的決策樹分類器 |來源：作者

上圖顯示了在著名的 Iris 數(shù)據(jù)集上訓(xùn)練的決策樹分類器的結(jié)構(gòu)。該數(shù)據(jù)集由150 個鳶尾花樣本組成，每個樣本屬于以下三個物種之一：setosa、versicolor 或 virginica。每個樣品有四個特征：萼片長度、萼片寬度、花瓣長度和花瓣寬度。

從決策樹可視化中，我們可以了解模型如何對花朵進(jìn)行分類：

根節(jié)點(diǎn)：在根節(jié)點(diǎn)處，模型確定花瓣長度是否為 2.45 厘米或更小。如果是這樣，它將花歸類為 setosa。否則，它將移動到下一個內(nèi)部節(jié)點(diǎn)。

基于花瓣長度的第二次分割：如果花瓣長度大于 2.45 厘米，則樹再次使用此功能做出決定。決定標(biāo)準(zhǔn)是花瓣長度是否小于或等于 4.75 厘米。

根據(jù)花瓣寬度進(jìn)行分割：如果花瓣長度小于或等于 4.75 厘米，則模型接下來會考慮花瓣寬度并確定它是否高于 1.65 厘米。如果是這樣，它將花歸類為弗吉尼亞。否則，模型的輸出是多色的。

根據(jù)萼片長度進(jìn)行分割：如果花瓣長度大于 4.75 厘米，則模型在訓(xùn)練期間確定萼片長度最適合區(qū)分花色和維吉尼亞。如果萼片長度大于 6.05 厘米，則將花歸類為弗吉尼亞花。否則，模型的輸出是多色的。

可視化捕獲了這種分層決策過程，并以一種比簡單的決策規(guī)則列表更易于理解的方式表示它。

集成模型可視化

隨機(jī)森林、AdaBoost、梯度提升和裝袋等集成方法將多個更簡單的模型（稱為基礎(chǔ)模型）合并到一個更大、更準(zhǔn)確的模型中。例如，隨機(jī)森林分類器包含許多決策樹。在調(diào)試和評估集成時，了解組成模型的貢獻(xiàn)和復(fù)雜的相互作用至關(guān)重要。

可視化集成模型的一種方法是創(chuàng)建一個圖表，顯示基本模型如何為集成模型的輸出做出貢獻(xiàn)。一種常見的方法是繪制基礎(chǔ)模型的決策邊界（也稱為曲面），突出顯示它們對特征空間不同部分的影響。通過研究這些決策邊界如何重疊，我們可以了解基礎(chǔ)模型如何產(chǎn)生集合的集體預(yù)測能力。

集成模型可視化示例：各個分類器如何通過調(diào)整其決策邊界來適應(yīng)不同的數(shù)據(jù)分布。較暗的區(qū)域表示更高的置信度，即模型對其預(yù)測的置信度更高。較輕的區(qū)域表示置信度較低的區(qū)域 |源

集成模型可視化還可以幫助用戶更好地理解分配給集成中每個基本模型的權(quán)重。通常，基礎(chǔ)模型對特征空間的某些區(qū)域有很強(qiáng)的影響，而對其他區(qū)域的影響很小。但是，也可能存在從未對集成輸出做出重大貢獻(xiàn)的基本模型。識別權(quán)重特別低或特別高的基本模型有助于使集成模型更加穩(wěn)健并提高其泛化性。

直觀地構(gòu)建模型

Visual ML 是一種使用低代碼或無代碼平臺設(shè)計機(jī)器學(xué)習(xí)模型的方法。它使用戶能夠通過用戶友好的可視化界面創(chuàng)建和修改復(fù)雜的機(jī)器學(xué)習(xí)過程、模型和結(jié)果。Visual ML 不是追溯生成模型結(jié)構(gòu)可視化，而是將它們置于 ML 工作流的核心。

簡而言之，Visual ML 平臺提供拖放式模型構(gòu)建工作流程，允許各種背景的用戶輕松創(chuàng)建 ML 模型。它們彌合了算法的抽象世界與我們通過視覺掌握模式和關(guān)系的天生能力之間的差距。

這些平臺可以節(jié)省我們的時間，并幫助我們快速構(gòu)建模型原型。由于可以在幾分鐘內(nèi)創(chuàng)建模型，因此訓(xùn)練和比較不同的模型配置很容易。然后，可以進(jìn)一步優(yōu)化性能最佳的模型，也許可以使用更以代碼為中心的方法。

數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師可以利用 Visual ML 工具創(chuàng)建：

1實驗原型

2?MLOps 管道

3為生產(chǎn)生成最佳的 ML 代碼

4擴(kuò)展現(xiàn)有 ML 模型代碼庫以獲得更大的示例

如何在沒有代碼的情況下創(chuàng)建 ML/DL 模型的示例。這種類型的界面是敏捷的，可以詳細(xì)了解模型的工作原理 |源

Visual ML 工具的示例包括 TensorFlow 的 Neural Network Playground 和 KNIME，后者是一個完全圍繞 Visual ML 和無代碼概念構(gòu)建的開源數(shù)據(jù)科學(xué)平臺。

可視化機(jī)器學(xué)習(xí)模型性能

在許多情況下，我們不太關(guān)心模型在內(nèi)部是如何工作的，而是有興趣了解它的性能。對于哪種樣品是可靠的？它經(jīng)常在哪里得出錯誤的結(jié)論？我們應(yīng)該選擇模型 A 還是模型 B？

在本節(jié)中，我們將介紹機(jī)器學(xué)習(xí)可視化效果，這些可視化效果有助于我們更好地了解模型的性能。

?混淆矩陣

混淆矩陣是評估分類模型性能的基本工具?；煜仃噷⒛Ｐ偷念A(yù)測與基本事實進(jìn)行比較，清楚地顯示模型錯誤分類了哪種樣本，或者它難以區(qū)分類別。

對于二元分類器，混淆矩陣只有四個字段：真陽性、假陽性、假陰性和真陰性：

?	?模型預(yù)測：0	?模型預(yù)測：1
?真值：0	?真陰性	?誤報
?真值：1	?假陰性	?真陽性

有了這些信息，就可以直接計算精度、召回率、F1 分?jǐn)?shù)和準(zhǔn)確性等基本指標(biāo)。

多類模型的混淆矩陣遵循相同的一般思路。對角線元素表示正確分類的實例（即，模型的輸出與真實值匹配），而非對角線元素表示錯誤分類。

下面是一個小片段，用于為 sci-kit-learn 分類器生成混淆矩陣：

import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC




# generate some sample data
X, y = make_classification(n_samples=1000,
n_features=10,
n_informative=6,
n_redundant = 2,
n_repeated = 2,
n_classes = 6,
n_clusters_per_class=1,
random_state = 42
)




# split the data into train and test set
X_train, X_test, y_train, y_test = train_test_split(X, y,random_state=0)




# initialize and train a classifier
clf = SVC(random_state=0)
clf.fit(X_train, y_train)




# get the model’s prediction for the test set
predictions = clf.predict(X_test)




# using the model’s prediction and the true value,
# create a confusion matrix
cm = confusion_matrix(y_test, predictions, labels=clf.classes_)




# use the built-in visualization function to generate a plot
disp = ConfusionMatrixDisplay(confusion_matrix=cm, display_labels=clf.classes_)
disp.plot()
plt.show()

模型性能可視化示例：6×6 混淆矩陣 |來源：作者

讓我們看一下輸出。如前所述，對角線中的元素表示真實的類，對角線外的元素表示模型混淆類的情況，因此得名“混淆矩陣”。

以下是該圖的三個關(guān)鍵要點(diǎn)：

對角線：理想情況下，矩陣的主對角線應(yīng)填充最高數(shù)字。這些數(shù)字表示模型正確預(yù)測類的實例，與真實類一致?？雌饋砦覀兊哪Ｐ驮谶@里做得很好！

非對角線條目：主對角線外的數(shù)字同樣重要。它們揭示了模型出錯的情況。例如，如果查看第 5 行與第 3 列相交的單元格，您會看到有 5 種情況，其中真正的類是“5”，但模型預(yù)測的類是“3”。也許我們應(yīng)該看看受影響的樣本，以更好地了解這里發(fā)生了什么！

一目了然地分析性能：通過檢查非對角線條目，您可以立即看到它們非常低?？偟膩碚f，分類器似乎做得很好。您還會注意到，我們每個類別的樣本數(shù)量大致相同。在許多現(xiàn)實世界的場景中，情況并非如此。然后，生成第二個混淆矩陣，顯示正確分類的可能性（而不是樣本的絕對數(shù)量）可能會有所幫助。

顏色漸變和百分比注釋等視覺增強(qiáng)功能使混淆矩陣更加直觀且易于解釋。樣式類似于熱圖的混淆矩陣會引起對錯誤率高的類的注意，從而指導(dǎo)進(jìn)一步的模型開發(fā)。

混淆矩陣還可以幫助非技術(shù)利益相關(guān)者掌握模型的優(yōu)勢和劣勢，促進(jìn)討論在使用模型預(yù)測進(jìn)行關(guān)鍵決策時是否需要額外的數(shù)據(jù)或預(yù)防措施。

可視化聚類分析

聚類分析根據(jù)特定特征對相似的數(shù)據(jù)點(diǎn)進(jìn)行分組。可視化這些聚類可以揭示數(shù)據(jù)中的模式、趨勢和關(guān)系。

散點(diǎn)圖中每個點(diǎn)根據(jù)其聚類分配進(jìn)行著色，是可視化聚類分析結(jié)果的標(biāo)準(zhǔn)方法。聚類邊界及其在要素空間中的分布清晰可見。成對圖或平行坐標(biāo)有助于了解多個要素之間的關(guān)系。

可視化聚類分析示例：由 k 均值聚類生成的兩個不同數(shù)據(jù)聚類。您可以看到，在這兩種情況下，模型找到的聚類（顏色編碼）都與數(shù)據(jù)中的實際聚類不匹配 |源

一種流行的聚類算法 k-means 從選擇稱為質(zhì)心的起點(diǎn)開始。一種簡單的方法是從數(shù)據(jù)集中隨機(jī)選取 k 個樣本。

一旦建立了這些初始質(zhì)心，k-means 將在兩個步驟之間交替：

1它將每個樣本與最近的質(zhì)心相關(guān)聯(lián)，從而創(chuàng)建由與同一質(zhì)心關(guān)聯(lián)的樣本組成的聚類。

2它通過對聚類中所有樣本的值求平均值來重新校準(zhǔn)質(zhì)心。

隨著此過程的繼續(xù)，質(zhì)心會移動，并且點(diǎn)與聚類的關(guān)聯(lián)會迭代細(xì)化。一旦新舊質(zhì)心之間的差值低于設(shè)定的閾值，則表示穩(wěn)定，k-means 結(jié)束。

結(jié)果是一組質(zhì)心和聚類，您可以在如上圖所示的圖中可視化它們。

對于較大的數(shù)據(jù)集，可以使用 t-SNE（t 分布的隨機(jī)鄰域嵌入）或 UMAP（均勻流形近似和投影）來減少維度，同時保留聚類結(jié)構(gòu)。這些技術(shù)有助于有效地可視化高維數(shù)據(jù)。

t-SNE 獲取復(fù)雜的高維數(shù)據(jù)，并將其轉(zhuǎn)換為低維表示。該算法首先為每個數(shù)據(jù)點(diǎn)分配一個低維空間中的位置。然后，它查看原始數(shù)據(jù)，并考慮其相鄰點(diǎn)，決定每個點(diǎn)在這個新空間中的實際位置。在高維空間中相似的點(diǎn)在新空間中被拉得更近，而那些不同的點(diǎn)被推開。

重復(fù)此過程，直到點(diǎn)找到其完美位置。最終結(jié)果是一個聚類表示，其中相似的數(shù)據(jù)點(diǎn)形成組，使我們能夠看到隱藏在高維混沌中的模式和關(guān)系。這就像一首交響樂，每個音符都能找到它和諧的位置，創(chuàng)造出一個美麗的數(shù)據(jù)組合。

t-SNE 算法從低維空間中的高維數(shù)據(jù)創(chuàng)建聚類 |源

UMAP也試圖在高維空間中尋找星團(tuán)，但采用了不同的方法。以下是UMAP的工作原理：

鄰居查找：UMAP 首先識別每個數(shù)據(jù)點(diǎn)的鄰居。它確定在原始高維空間中哪些點(diǎn)彼此靠近。

模糊簡單集構(gòu)造：想象一下在這些相鄰點(diǎn)之間創(chuàng)建一個連接網(wǎng)絡(luò)。UMAP 根據(jù)點(diǎn)的相關(guān)或相似程度對這些連接的強(qiáng)度進(jìn)行建模。

低維布局：在確定它們的接近度后，UMAP在低維空間中仔細(xì)排列數(shù)據(jù)點(diǎn)。在這個新空間中，在高維空間中緊密相連的點(diǎn)被緊密地放置在一起。

優(yōu)化：UMAP旨在找到較低維度的最佳表示形式。它最小化了原始高維空間和新的低維空間中的距離差異。

聚類：UMAP使用聚類算法對相似的數(shù)據(jù)點(diǎn)進(jìn)行分組。想象一下，將相似顏色的彈珠聚集在一起——這使我們能夠更清楚地看到圖案和結(jié)構(gòu)。

比較模型分析

比較不同的模型性能指標(biāo)對于確定哪種機(jī)器學(xué)習(xí)模型最適合任務(wù)至關(guān)重要。無論是在機(jī)器學(xué)習(xí)項目的實驗階段，還是在重新訓(xùn)練生產(chǎn)模型時，通常都需要可視化來將復(fù)雜的數(shù)值結(jié)果轉(zhuǎn)化為可操作的見解。

因此，模型性能指標(biāo)的可視化，如ROC曲線和校準(zhǔn)圖，是每個數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師都應(yīng)該在其工具箱中擁有的工具。它們是理解和傳達(dá)機(jī)器學(xué)習(xí)模型有效性的基礎(chǔ)。

模型分析示例：使用 ROC 曲線和 ROC-AUC 指標(biāo)比較三個不同的模型?

?ROC 曲線

在分析機(jī)器學(xué)習(xí)分類器和比較 ML 模型性能時，受試者工作特征曲線（簡稱 ROC 曲線）至關(guān)重要。

ROC 曲線將模型的真陽性率與其假陽性率作為截止閾值的函數(shù)進(jìn)行對比。它描述了我們總是必須做出的真陽性和假陽性之間的權(quán)衡，并提供了對模型判別力的洞察。

靠近左上角的曲線表示卓越的性能：該模型實現(xiàn)了較高的真陽性率，同時保持了較低的誤報率。比較 ROC 曲線有助于我們選擇最佳模型。

以下是 ROC 曲線工作原理的分步說明：

在二元分類中，我們感興趣的是預(yù)測兩種可能的結(jié)果之一，通常標(biāo)記為陽性（例如，存在疾?。┖完幮裕ɡ?，沒有疾病）。

請記住，我們可以通過選擇一個類作為正結(jié)果并將所有其他類指定為負(fù)結(jié)果，將任何分類問題轉(zhuǎn)換為二元問題。因此，ROC曲線對于多類或多標(biāo)簽分類問題仍然有幫助。

ROC 曲線的軸代表兩個指標(biāo)：

真陽性率（靈敏度）：模型正確識別的實際陽性病例的比例。

假陽性率：實際陰性病例被錯誤識別為陽性的比例。

機(jī)器學(xué)習(xí)分類器通常輸出樣本屬于正類的可能性。例如，邏輯回歸模型輸出的值介于 0 和 1 之間，這些值可以解釋為似然。

作為數(shù)據(jù)科學(xué)家，我們有責(zé)任選擇閾值，高于該閾值，我們分配正面標(biāo)簽。ROC 曲線向我們展示了該選擇對分類器性能的影響。

如果我們將閾值設(shè)置為 0，則所有樣本都將分配給陽性類，誤報率為 1。因此，在任何 ROC 曲線圖的右上角，您將看到曲線在（1， 1）處結(jié)束。

如果我們將閾值設(shè)置為 1，則不會將任何樣本分配給正類。但是，由于在這種情況下，我們永遠(yuǎn)不會錯誤地將負(fù)樣本分配給正類，因此誤報率將為 0。您可能已經(jīng)猜到了，這就是我們在 ROC 曲線圖的左下角看到的：曲線總是從（0， 0）開始。

通過更改將樣本分類為陽性的閾值來繪制這些點(diǎn)之間的曲線。由此產(chǎn)生的曲線（ROC 曲線）反映了真陽性率和假陽性率如何隨著該閾值的變化而相互變化。

但是我們從中學(xué)到了什么？

ROC 曲線顯示了我們必須在靈敏度（真陽性率）和特異性（1 – 假陽性率）之間做出的權(quán)衡。用更通俗的術(shù)語來說，我們可以找到所有陽性樣本（高靈敏度），或者確保我們的分類器識別為陽性的所有樣本實際上都屬于陽性類別（高特異性）。

考慮一個可以完美區(qū)分正樣本和負(fù)樣本的分類器：它的真陽性率始終為 1，其假陽性率始終為 0，與我們選擇的閾值無關(guān)。它的 ROC 曲線將從（0,0）直線向上射到（0,1），然后類似于（0,1）和（1,1）之間的直線。

因此，ROC曲線越接近圖的左側(cè)邊界，然后是頂部邊界，模型的判別性就越強(qiáng)，就越能滿足敏感性和特異性目標(biāo)。

為了比較不同的模型，我們通常不直接使用曲線，而是計算曲線下的面積。這量化了模型區(qū)分正類和負(fù)類的整體能力。

這個所謂的 ROC-AUC（ROC 曲線下的面積）可以取 0 到 1 之間的值，值越高表示性能越好。事實上，我們的完美分類器將達(dá)到正好 1 的 ROC-AUC。

使用 ROC-AUC 指標(biāo)時，必須記住基線不是 0，而是 0.5——完全隨機(jī)分類器的 ROC-AUC。如果我們使用 np.random.rand（）作為分類器，則生成的 ROC 曲線將是一條從（0,0）到（1,1）的對角線。

比較模型分析示例：隨機(jī)分類器的 ROC 曲線是對角線的，因此 ROC-AUC 為 0.5。以黃色顯示的實際 ML 分類器的 ROC 曲線始終位于該線上方，ROC-AUC 為 0.78 |源

使用 scikit-learn 生成 ROC 曲線和計算 ROC-AUC 非常簡單。只需在模型訓(xùn)練腳本中編寫幾行代碼，即可為每個訓(xùn)練運(yùn)行創(chuàng)建此評估數(shù)據(jù)。使用 ML 實驗跟蹤工具記錄 ROC-AUC 和 ROC 曲線圖時，您可以稍后比較不同的模型版本。

實驗記錄

在可視化、比較和調(diào)試模型時，有條不紊地記錄所有實驗非常有用。

計算和記錄 ROC-AUC
from sklearn.metrics import roc_auc_score




clf.fit(x_train, y_train)




y_test_pred = clf.predict_proba(x_test)
auc = roc_auc_score(y_test, y_test_pred[:, 1])




# optional: log to an experiment-tracker like neptune.ai
neptune_logger.run["roc_auc_score"].append(auc)


創(chuàng)建和記錄 ROC 圖
from scikitplot.metrics import plot_roc
import matplotlib.pyplot as plt




fig, ax = plt.subplots(figsize=(16, 12))
plot_roc(y_test, y_test_pred, ax=ax)




# optional: log to an experiment tracker like neptune.ai
from neptune.types import File
neptune_logger.run["roc_curve"].upload(File.as_html(fig))

?校準(zhǔn)曲線

雖然機(jī)器學(xué)習(xí)分類器通常為每個類輸出介于 0 和 1 之間的值，但這些值并不代表統(tǒng)計意義上的可能性或置信度。在許多情況下，這完全沒問題，因為我們只對獲得正確的標(biāo)簽感興趣。

但是，如果我們想報告置信水平以及分類結(jié)果，我們必須確保我們的分類器經(jīng)過校準(zhǔn)。校準(zhǔn)曲線是了解分類器校準(zhǔn)情況的有用視覺輔助工具。我們還可以使用它們來比較不同的模型或檢查我們重新校準(zhǔn)模型的嘗試是否成功。

讓我們再次考慮輸出介于 0 和 1 之間的值的模型的情況。如果我們選擇一個閾值，比如 0.5，我們可以將其轉(zhuǎn)換為二元分類器，其中模型輸出較高值的所有樣本都分配給正類（反之亦然）。

校準(zhǔn)曲線根據(jù)模型的輸出繪制“正分?jǐn)?shù)”。“正分?jǐn)?shù)”是給定模型輸出的樣本實際屬于正類的條件概率（P（樣本屬于正類|模型的輸出介于 0 和 1 之間））。

這聽起來是不是太抽象了？讓我們看一個例子：

校準(zhǔn)曲線示例：比較不同型號 | 來源：作者

首先，看一下對角線。它代表了一個完美校準(zhǔn)的分類器：模型的輸出介于 0 和 1 之間，恰好是樣本屬于正類的概率。例如，如果模型輸出 0.5，則樣本屬于正類或負(fù)類的幾率為 50：50。如果模型對樣本輸出 0.2，則該樣本屬于正類的可能性只有 20%。

接下來，考慮樸素貝葉斯分類器的校準(zhǔn)曲線：您會看到，即使此模型輸出 0，樣本也有大約 10% 的幾率為正。如果模型輸出 0.8，則樣本仍有 50% 的可能性屬于負(fù)類。因此，分類器的輸出不能反映其置信度。

計算“正數(shù)的分?jǐn)?shù)”遠(yuǎn)非易事。我們需要根據(jù)模型的輸出創(chuàng)建條柱，由于模型值范圍內(nèi)的樣本分布通常不是均勻的，因此這很復(fù)雜。例如，邏輯回歸分類器通常將接近 0 或 1 的值分配給許多樣本，但很少輸出接近 0.5 的值。您可以在 scikit-learn 文檔中找到有關(guān)此主題的更深入討論。在那里，您還可以深入了解重新校準(zhǔn)模型的可能方法，這超出了本文的范圍。

就我們的目的而言，我們已經(jīng)了解了校準(zhǔn)曲線如何以易于掌握的方式可視化復(fù)雜的模型行為。通過快速瀏覽圖，我們可以看到模型是否經(jīng)過良好校準(zhǔn)以及哪個模型最接近理想。

可視化超參數(shù)優(yōu)化

超參數(shù)優(yōu)化是開發(fā)機(jī)器學(xué)習(xí)模型的關(guān)鍵步驟。目的是選擇超參數(shù)的最佳配置——超參數(shù)的通用名稱，不是模型從數(shù)據(jù)中學(xué)習(xí)的，而是由其人類創(chuàng)建者預(yù)定義的。可視化可以幫助數(shù)據(jù)科學(xué)家了解不同超參數(shù)對模型性能和屬性的影響。

找到超參數(shù)的最佳配置本身就是一項技能，遠(yuǎn)遠(yuǎn)超出了我們將在這里重點(diǎn)關(guān)注的機(jī)器學(xué)習(xí)可視化方面。要了解有關(guān)超參數(shù)優(yōu)化的更多信息，我推薦這篇由前 Amazon AI 研究人員撰寫的關(guān)于提高 ML 模型性能的文章。

系統(tǒng)超參數(shù)優(yōu)化的常用方法是創(chuàng)建可能的參數(shù)組合列表，并為每個參數(shù)組合訓(xùn)練一個模型。這通常稱為“網(wǎng)格搜索”。

例如，如果您正在訓(xùn)練支持向量機(jī) （SVM），您可能希望嘗試參數(shù) C（正則化參數(shù)）和 gamma（核系數(shù)）的不同值：

import numpy as np
 
C_range = np.logspace(-2, 10, 13)
gamma_range = np.logspace(-9, 3, 13)


param_grid = {“gamma”: gamma_range, “C”: C_range}

使用 scikit-learn 的 GridSearchCV，您可以為每個可能的組合（使用交叉驗證策略）訓(xùn)練模型，并找到與評估指標(biāo)相關(guān)的最佳組合：

from sklearn.model_selection import GridSearchCV,


grid = GridSearchCV(SVC(), param_grid=param_grid, scoring=’accuracy’)
grid.fit(X, y)

網(wǎng)格搜索結(jié)束后，可以檢查結(jié)果：

print(
"The best parameters are %s with a score of %0.2f"
% (grid.best_params_, grid.best_score_)
)

但我們通常不僅對找到最佳模型感興趣，還想了解其參數(shù)的影響。例如，如果一個參數(shù)不影響模型的性能，我們就不需要浪費(fèi)時間和金錢來嘗試更多不同的值。另一方面，如果我們看到隨著參數(shù)值的增加，模型的性能變得更好，我們可能希望為這個參數(shù)嘗試更高的值。

下面是我們剛剛執(zhí)行的網(wǎng)格搜索的可視化效果：

網(wǎng)格搜索可視化示例：使用不同值的 gamma 和 C 進(jìn)行 SVM 分類器訓(xùn)練如何在測試集上執(zhí)行 |源

從圖中可以看出，伽馬的值對支持向量機(jī)的性能影響很大。如果伽瑪設(shè)置得太高，則支持向量的影響半徑很小，即使通過 C 進(jìn)行大量正則化，也可能導(dǎo)致過度擬合。在這種情況下，任何支持向量的影響區(qū)域都跨越整個訓(xùn)練集，使模型類似于線性模型，使用超平面來分隔不同類別的密集區(qū)域。

最佳模型位于 C 和 gamma 的對角線上，如第二個繪圖面板所示。通過調(diào)整 gamma（較低的值表示更平滑的模型）和增加 C（較高的值表示更強(qiáng)調(diào)正確的分類），我們可以遍歷這條對角線以獲得性能良好的模型。

即使從這個簡單的示例中，您也可以看到可視化對于深入了解模型性能差異的根本原因有多么有用。這就是為什么許多機(jī)器學(xué)習(xí)實驗跟蹤工具使數(shù)據(jù)科學(xué)家能夠創(chuàng)建不同類型的可視化來比較模型版本的原因。

特征重要性可視化

特征重要性可視化提供了一種清晰直觀的方式來掌握模型決策過程中每個特征的貢獻(xiàn)。在許多應(yīng)用中，了解哪些特征會顯著影響預(yù)測至關(guān)重要。

從機(jī)器學(xué)習(xí)模型中提取有關(guān)特征重要性的見解有很多不同的方法。從廣義上講，我們可以將它們分為兩類：

某些類型的模型（如決策樹和隨機(jī)森林）本身包含特征重要性信息作為其模型結(jié)構(gòu)的一部分。我們需要做的就是提取和可視化它。

目前使用的大多數(shù)機(jī)器學(xué)習(xí)模型都無法提供開箱即用的特征重要性信息。我們必須使用統(tǒng)計技術(shù)和算法方法來揭示它們的每個輸入特征對模型最終輸出的重要性。

在下文中，我們將查看每個類別的一個示例：隨機(jī)森林模型的雜質(zhì)平均減少方法和與模型無關(guān)的 LIME 可解釋性方法。您可能想要研究的其他方法包括排列重要性、SHAP 和積分梯度。

就本文而言，我們不太關(guān)心如何獲取特征重要性數(shù)據(jù)，而是關(guān)心其可視化。為此，條形圖是結(jié)構(gòu)化數(shù)據(jù)的首選，每個條形的長度表示要素的重要性。熱圖顯然是圖像的最愛，而對于文本數(shù)據(jù)，突出顯示最重要的單詞或短語是典型的。

在業(yè)務(wù)環(huán)境中，特征重要性可視化是利益相關(guān)者溝通的寶貴工具。它提供了一個直截了當(dāng)?shù)臄⑹觯故玖酥饕绊戭A(yù)測的因素。這種透明度增強(qiáng)了決策能力，并可以培養(yǎng)對模型結(jié)果的信任。

使用雜質(zhì)平均減少法進(jìn)行特征重要性可視化示例 |來源：作者

雜質(zhì)平均減少法進(jìn)行特征重要性評估

雜質(zhì)（不純度）的平均減少量是衡量每個特征對決策樹性能的貢獻(xiàn)的指標(biāo)。要理解這一點(diǎn)，我們首先需要了解“雜質(zhì)”在這種情況下的含義。

我們先打個比方：

假設(shè)我們有一個水果籃，里面有蘋果、梨和橙子。當(dāng)水果片放在籃子里時，它們被徹底混合，我們可以說這套水果的雜質(zhì)很高。

現(xiàn)在，我們的任務(wù)是按種類對它們進(jìn)行分類。如果我們把所有的蘋果都放進(jìn)一個碗里，把橘子放在托盤上，把梨放在籃子里，我們就會剩下三套純度完美的蘋果。

但轉(zhuǎn)折點(diǎn)來了：我們在做決定時看不到果實。對于每塊水果，我們都會被告知它的顏色、直徑和重量。然后，我們需要決定它應(yīng)該去哪里。因此，這三個屬性是我們的特點(diǎn)。

水果塊的重量和直徑將非常相似。它們對我們進(jìn)行分類沒有多大幫助——或者換一種說法，它們對減少雜質(zhì)沒有幫助。

但是顏色會有所幫助。我們可能仍然難以區(qū)分綠色或黃色的蘋果和綠色或黃色的梨，但如果我們得知顏色是紅色或橙色，我們就可以自信地做出決定。因此，“顏色”將給我們帶來最大的雜質(zhì)平均減少。

現(xiàn)在，讓我們在決策樹和隨機(jī)森林的上下文中使用這個類比：

在構(gòu)建決策樹時，我們希望每個節(jié)點(diǎn)在目標(biāo)變量方面盡可能純粹。用更通俗的術(shù)語來說，在為我們的樹創(chuàng)建新節(jié)點(diǎn)時，我們的目標(biāo)是找到最能將到達(dá)節(jié)點(diǎn)的樣本分成兩個不同集的特征，以便具有相同標(biāo)簽的樣本位于同一集合中。（有關(guān)完整的數(shù)學(xué)詳細(xì)信息，請參閱 scikit-learn 文檔）。

決策樹中的每個節(jié)點(diǎn)都減少了雜質(zhì)——粗略地說，它有助于按目標(biāo)標(biāo)簽對訓(xùn)練樣本進(jìn)行排序。假設(shè)一個特征是樹中許多節(jié)點(diǎn)的決策標(biāo)準(zhǔn)，并且它可以有效地干凈地劃分樣本。在這種情況下，它將負(fù)責(zé)決策樹總體上實現(xiàn)的雜質(zhì)減少的很大一部分。這就是為什么查看一個特征所負(fù)責(zé)的“雜質(zhì)平均減少”是衡量特征重要性的一個很好的指標(biāo)。

嗚，這真是太復(fù)雜了！

幸運(yùn)的是，可視化并不難閱讀。我們可以清楚地識別模型的主要驅(qū)動因素，并在特征選擇中使用這些信息。將模型的輸入空間減少到最關(guān)鍵的特征可以降低其復(fù)雜性，并可以防止過度擬合。

此外，了解特征重要性有助于數(shù)據(jù)準(zhǔn)備。重要性較低的要素可能是移除或合并的候選要素，從而簡化了輸入數(shù)據(jù)預(yù)處理。

不過，在我們繼續(xù)之前，我想提一下一個重要的警告。由于節(jié)點(diǎn)的雜質(zhì)減少是在訓(xùn)練期間確定的，因此使用訓(xùn)練數(shù)據(jù)集，“雜質(zhì)的平均減少”不一定轉(zhuǎn)化為以前看不見的測試數(shù)據(jù)：

假設(shè)我們的訓(xùn)練樣本已編號，此編號是模型的輸入特征。然后，如果我們的決策樹足夠復(fù)雜，它可以只知道哪個樣本具有哪個標(biāo)簽（例如，“水果 1 是橙子”、“水果 2 是蘋果”......數(shù)字特征的雜質(zhì)平均減少將是巨大的，它將在我們的可視化中作為一個非常重要的特征出現(xiàn)，盡管在將我們的模型應(yīng)用于以前從未見過的數(shù)據(jù)時，它完全沒有用。

局部可解釋模型無關(guān)解釋（LIME）

局部可解釋性方法旨在闡明模型在特定實例中的行為。（與此相反的是全局可解釋性，即檢查模型在其整個特征空間中的行為。

局部可解釋模型不可知解釋（LIME）和產(chǎn)生重要特征的示例 |來源：作者

最古老且仍然廣泛使用的技術(shù)之一是 LIME（本地可解釋模型不可知解釋）。為了揭示每個輸入特征對模型預(yù)測的貢獻(xiàn)，需要擬合一個線性模型，該模型近似于模型在特征空間特定區(qū)域的行為。粗略地說，線性模型的系數(shù)反映了輸入要素的重要性。結(jié)果可以可視化為特征重要性圖，突出顯示對特定預(yù)測最有影響力的特征。

局部可解釋性技術(shù)可以從復(fù)雜的算法中提取直觀的見解。這些結(jié)果的可視化可以支持與業(yè)務(wù)利益相關(guān)者的討論，或者成為與領(lǐng)域?qū)＜医徊鏅z查模型學(xué)習(xí)行為的基礎(chǔ)。它們提供實用的、可操作的見解，增強(qiáng)對模型復(fù)雜內(nèi)部運(yùn)作的信任，并且可以成為促進(jìn)機(jī)器學(xué)習(xí)采用的重要工具。

如何在機(jī)器學(xué)習(xí)中采用模型可視化？

在本節(jié)中，我將分享有關(guān)將模型可視化無縫集成到日常數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)例程中的技巧。

1. 從明確的目標(biāo)開始

在深入研究模型可視化之前，請確定一個明確的目的。問問自己，“我打算通過可視化實現(xiàn)哪些具體目標(biāo)？

您是否正在尋求...

...提高模型性能？

...增強(qiáng)可解釋性？

...更好地將結(jié)果傳達(dá)給利益相關(guān)者？

定義目標(biāo)將提供有效可視化所需的方向。

2. 選擇合適的可視化效果

始終采用自上而下的方法。這意味著您從非常抽象的級別開始，然后更深入地探索以獲得更多見解。

例如，如果您正在尋求提高模型的性能，請確保首先從簡單的方法開始，例如使用簡單的折線圖繪制模型的精度和損失。

假設(shè)您的模型過擬合。然后，您可以使用特征重要性技術(shù)根據(jù)特征對模型性能的貢獻(xiàn)對特征進(jìn)行排名。您可以繪制這些特征重要性分?jǐn)?shù)，以可視化模型中最具影響力的特征。重要性較高的特征可能指向過擬合和信息泄露。

同樣，您可以為相關(guān)要素創(chuàng)建部分依賴關(guān)系圖。PDP 顯示目標(biāo)變量的預(yù)測如何隨著特定特征的變化而變化，同時保持其他特征不變。您必須查找曲線中的不穩(wěn)定行為或劇烈波動，這可能表明由于該特征而導(dǎo)致的過度擬合。

3. 選擇合適的工具

選擇正確的工具取決于手頭的任務(wù)和工具提供的功能。Python 提供了大量庫，如 Matplotlib、Seaborn 和 Plotly，用于創(chuàng)建靜態(tài)和交互式可視化。特定于框架的工具（例如用于 TensorFlow 的 TensorBoard 和用于 scikit-learn 的 scikit-plot）對于特定于模型的可視化非常有價值。

4. 迭代和改進(jìn)

請記住，模型可視化是一個迭代過程。根據(jù)團(tuán)隊和利益相關(guān)者的反饋不斷優(yōu)化可視化效果。最終目標(biāo)是使您的模型透明、可解釋且可供所有利益相關(guān)者訪問。他們的意見和不斷變化的項目要求可能意味著您需要重新考慮和調(diào)整您的方法。

將模型可視化整合到您的日常數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)實踐中，使您能夠清晰、自信地做出數(shù)據(jù)驅(qū)動的決策。無論您是數(shù)據(jù)科學(xué)家、領(lǐng)域?qū)＜疫€是決策者，將模型可視化作為常規(guī)實踐都是充分利用機(jī)器學(xué)習(xí)項目潛力的關(guān)鍵一步。

總結(jié)

有效的機(jī)器學(xué)習(xí)模型可視化是任何數(shù)據(jù)科學(xué)家不可或缺的工具。它使從業(yè)者能夠獲得洞察力，做出明智的決策，并透明地傳達(dá)結(jié)果。

在本文中，我們介紹了大量有關(guān)如何可視化機(jī)器學(xué)習(xí)模型的信息。總而言之，以下是一些關(guān)鍵要點(diǎn)：

機(jī)器學(xué)習(xí)中可視化的目的：

可視化簡化了復(fù)雜的 ML 模型結(jié)構(gòu)和數(shù)據(jù)模式，以便更好地理解。

交互式可視化和 Visual ML 工具使用戶能夠與數(shù)據(jù)和模型進(jìn)行動態(tài)交互。他們可以調(diào)整參數(shù)，放大細(xì)節(jié)，并更好地了解ML系統(tǒng)。

可視化有助于做出明智的決策和有效的結(jié)果溝通。

機(jī)器學(xué)習(xí)可視化的類型：

模型結(jié)構(gòu)可視化可幫助數(shù)據(jù)科學(xué)家、AI 研究人員和業(yè)務(wù)利益相關(guān)者了解復(fù)雜的算法和數(shù)據(jù)流。

通過模型性能可視化，可以深入了解單個模型和模型集成的性能特征。

用于比較模型分析的可視化可幫助從業(yè)者選擇性能最佳的模型或驗證新模型版本是否是一種改進(jìn)。

特征重要性可視化揭示了每個輸入特征對模型輸出的影響。