在機(jī)器學(xué)習(xí)方面，人們可以采取的改進(jìn) ML 模型預(yù)測的方法是選擇正確的特征并刪除對模型性能影響微不足道的特征。因此，選擇正確的特征可能是數(shù)據(jù)科學(xué)家或機(jī)器學(xué)習(xí)工程師需要做的最重要的步驟之一，他們通常負(fù)責(zé)構(gòu)建那些能夠很好地概括測試數(shù)據(jù)集的復(fù)雜模型。

例如，考慮預(yù)測一個(gè)人是否會患心臟病的任務(wù)，可以產(chǎn)生良好影響的最強(qiáng)指標(biāo)之一就是體重指數(shù) (BMI)。當(dāng)我們試圖預(yù)測一個(gè)人可能患有的血壓 (BP) 水平時(shí)，沒有考慮這個(gè)特征并且沒有在我們的數(shù)據(jù)集中使用它，通常會導(dǎo)致結(jié)果不太準(zhǔn)確。在這種情況下，BMI 可以強(qiáng)烈表明一個(gè)人患有這些疾病。因此，考慮這個(gè)特征很重要，因?yàn)樗鼤Y(jié)果產(chǎn)生很大的影響。

考慮另一個(gè)預(yù)測某人是否會拖欠貸款的案例研究。在向某人提供貸款之前，所考慮的銀行會詢問一系列問題，例如工資、凈資產(chǎn)和他們的信用記錄。如果我們要讓一個(gè)人根據(jù)上述一系列因素來決定是否必須向某人提供貸款，他/她會查看總工資和他們的整體信用記錄。

同樣，當(dāng)數(shù)據(jù)以與人類相同的方式提供給 ML 模型時(shí)，它會學(xué)會獲得重要的表示，以便它決定一個(gè)人是否會償還貸款。如果我們刪除諸如工資之類的特征，ML 模型將缺少關(guān)鍵信息，無法完美地解讀一個(gè)人是否會償還貸款。因此，它的預(yù)測可能會非常錯(cuò)誤，因?yàn)閿?shù)據(jù)中缺少最重要的特征之一（工資）。因此，這凸顯了擁有正確的特征對于我們的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型在測試集和實(shí)時(shí)數(shù)據(jù)上表現(xiàn)良好的重要性。

現(xiàn)在我們已經(jīng)了解了確定正確特征對于確定模型預(yù)測質(zhì)量的重要性，我們現(xiàn)在將繼續(xù)尋找有助于我們的模型預(yù)測并改善其結(jié)果的各種特征化技術(shù)。

插值

這是我們在數(shù)據(jù)中填充缺失值的一種方法。我們在互聯(lián)網(wǎng)上找到了大量數(shù)據(jù)集，例如包含幾乎所有特征和標(biāo)簽而沒有異?；蛉笔?shù)據(jù)的玩具數(shù)據(jù)集。然而，這在現(xiàn)實(shí)生活中可能遠(yuǎn)非如此，因?yàn)榇蠖鄶?shù)現(xiàn)實(shí)世界數(shù)據(jù)都包含缺失值。因此，必須采取特定步驟來確保以某種方式填充缺失的值。

我們可以使用各種方法來執(zhí)行插值。我們可以使用特征的平均值或平均值來填充缺失值。還有其他方法，例如特征的中位數(shù)插值和眾數(shù)插值。因此，通過執(zhí)行這些方法，我們不會得到包含缺失值的數(shù)據(jù)。

如果我們要預(yù)測一個(gè)人是否會拖欠貸款，我們會將薪水作為我們機(jī)器學(xué)習(xí)模型的重要特征之一。但是，所有參與者的薪水信息可能不存在于我們的數(shù)據(jù)中。因此，最好的方法之一是分別用整個(gè)薪資特征的平均值來估算或填充這些缺失值。

縮放我們傾向于為我們的模型提供一組不同的特征，基于此，模型將確定用于預(yù)測結(jié)果或目標(biāo)變量的最佳特征。但需要注意的是，我們使用的特征在我們最初收到數(shù)據(jù)時(shí)可能具有不同的尺度。

以用于確定房價(jià)的特征為例。在這種情況下，特征可能是臥室數(shù)量和利率。我們無法比較這兩個(gè)特征，因?yàn)榕P室數(shù)量以單位為單位，而利率以美元 ($) 為單位。如果我們將這些數(shù)據(jù)提供給我們的 ML 模型，它只會理解美元比臥室數(shù)量特征高出很多單位。然而，正如我們上面所看到的，這遠(yuǎn)非事實(shí)。因此，在將特征提供給模型進(jìn)行預(yù)測之前，執(zhí)行特征的縮放操作非常重要。

歸一化這是我們執(zhí)行縮放操作的一種方式，在轉(zhuǎn)換數(shù)據(jù)中的其他值之前，先對所考慮的各個(gè)特征取最大值和最小值。我們確保特征的最小值為 0，最大值為 1。這將確保我們能夠使用模型產(chǎn)生最佳結(jié)果并獲得良好的預(yù)測。以客戶是否會流失（離開）或繼續(xù)使用互聯(lián)網(wǎng)服務(wù)為例，月費(fèi)和使用期限等特征是一些重要特征。月費(fèi)可以以美元 ($) 為單位，而使用期限可以以年或月為單位。由于它們的規(guī)模不同，因此規(guī)范化在這種情況下非常方便，并確保我們獲得最佳的模型預(yù)測。

標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化在轉(zhuǎn)換特征方面與規(guī)范化類似，不同之處在于我們以這樣一種方式轉(zhuǎn)換數(shù)據(jù)，即我們得到一個(gè)輸出，該輸出對于每個(gè)單獨(dú)的特征都具有單位方差和零均值。我們已經(jīng)看到，對各種特征使用不同的尺度常常會使模型感到困惑，因?yàn)槟Ｐ蜁驗(yàn)閿?shù)據(jù)的尺度而假設(shè)一個(gè)特征比另一個(gè)特征更重要，執(zhí)行標(biāo)準(zhǔn)化操作有助于確保我們獲得最佳預(yù)測。因此，這是機(jī)器學(xué)習(xí)從業(yè)者在構(gòu)建最佳預(yù)測時(shí)經(jīng)常采取的一步。

在預(yù)測汽車價(jià)格時(shí)，我們會分別考慮氣缸數(shù)和里程數(shù)等特征。由于這兩個(gè)特征的尺度不同，我們必須執(zhí)行標(biāo)準(zhǔn)化，以便在給出預(yù)測模型之前，我們可以在特征之間找到共同點(diǎn)。

獨(dú)熱編碼想象一個(gè)場景，我們的數(shù)據(jù)中有大量分類特征。我們數(shù)據(jù)中的一些分類特征可以包括國家、州、名稱等特征。從這些特征中，我們看到，我們只生成這些實(shí)例的出現(xiàn)，而沒有得到數(shù)字表示。為了使我們的 ML 模型能夠很好地工作并利用數(shù)據(jù)，分類特征（如上所示）應(yīng)該轉(zhuǎn)換為數(shù)字特征，以便模型執(zhí)行計(jì)算。因此，我們執(zhí)行這一步獨(dú)熱編碼，以便將分類特征轉(zhuǎn)換為數(shù)字特征?，F(xiàn)在人們可能會質(zhì)疑算法實(shí)際上是如何做到這一點(diǎn)的。它只是將每個(gè)特征的每個(gè)類別視為單獨(dú)的列。特定類別的存在或不存在將被標(biāo)記為 1 或 0。如果我們發(fā)現(xiàn)特定類別存在，反之亦然，我們將值設(shè)為 1。

響應(yīng)編碼這是另一種與獨(dú)熱編碼非常相似的方法，因?yàn)樗梢蕴幚矸诸悢?shù)據(jù)。但是，將分類特征轉(zhuǎn)換為數(shù)值特征的過程與之前的方法不同。在響應(yīng)編碼中，我們最感興趣的是每個(gè)類別的目標(biāo)平均值。例如，以確定房價(jià)為例。為了預(yù)測各個(gè)地區(qū)的房價(jià)，我們將對各個(gè)地區(qū)進(jìn)行分組，并找出每個(gè)地區(qū)的平均房價(jià)。稍后，我們將用每個(gè)地區(qū)特定的平均房價(jià)替換地區(qū)，以表示先前作為分類特征的數(shù)值。因此，我們的模型可以固有地了解社區(qū)在確定房價(jià)方面有多大影響。因此，響應(yīng)編碼在這種情況下非常方便?？紤]到預(yù)測汽車價(jià)格的問題，可能會有 SUV 或轎車等汽車。有時(shí)可以通過這兩個(gè)特征來確定價(jià)格。因此，當(dāng)使用響應(yīng)編碼轉(zhuǎn)換此分類特征（汽車類型）時(shí)，響應(yīng)編碼會很有用。我們僅取 SUV 和轎車的平均價(jià)格。如果車型為 SUV，我們將其替換為 SUV 車型細(xì)分市場的平均價(jià)格。如果車型為轎車，我們將其替換為轎車車型細(xì)分市場的平均價(jià)格。

處理異常值異常值是被視為數(shù)據(jù)異常的數(shù)據(jù)點(diǎn)。但是，還需要注意的是，數(shù)據(jù)中的某些異常值對于模型正確確定結(jié)果非常有用且重要。如果我們發(fā)現(xiàn)數(shù)據(jù)中存在大量異常值，則可能會使模型無法對異常值做出正確的預(yù)測，而無法很好地概括實(shí)時(shí)數(shù)據(jù)。因此，我們必須采取正確的步驟，確保在訓(xùn)練模型并將其投入生產(chǎn)之前將其移除。有多種方法可以去除數(shù)據(jù)中的異常值。其中一些方法包括找到每個(gè)特征的標(biāo)準(zhǔn)差。如果數(shù)據(jù)點(diǎn)高于或低于平均值 3 個(gè)標(biāo)準(zhǔn)差，我們可以自動將它們歸類為異常值并將其移除，這樣它們就不會影響機(jī)器學(xué)習(xí)模型的預(yù)測。

考慮到一個(gè)人是否會拖欠貸款，可能會有關(guān)于此人工資的信息。薪資信息可能并不總是準(zhǔn)確的，并且這個(gè)特征中可能存在相當(dāng)多的異常值。使用這些數(shù)據(jù)訓(xùn)練我們的 ML 模型通常會導(dǎo)致它在測試集或未見過的數(shù)據(jù)上表現(xiàn)不佳。因此，最好的方法是在將數(shù)據(jù)提供給 ML 模型之前從數(shù)據(jù)中刪除異常值。這可以通過了解薪資的標(biāo)準(zhǔn)差來實(shí)現(xiàn)，并且高于或低于 3 個(gè)標(biāo)準(zhǔn)差的值會自動被刪除，以便模型做出可靠的預(yù)測。

對數(shù)轉(zhuǎn)換

當(dāng)我們發(fā)現(xiàn)數(shù)據(jù)中存在嚴(yán)重偏差時(shí)，可以使用這種技術(shù)。如果存在大量偏差，即數(shù)據(jù)包含大量集中在特定區(qū)域的值，而一些異常值和數(shù)據(jù)點(diǎn)遠(yuǎn)離平均值，則我們的模型更有可能無法理解這種復(fù)雜的關(guān)系。

因此，我們將使用對數(shù)變換來轉(zhuǎn)換這些數(shù)據(jù)并減少偏差，以便模型對異常值更具魯棒性，并且能夠很好地概括實(shí)時(shí)數(shù)據(jù)。對數(shù)變換可以是一種方便的特征工程技術(shù)，可以分別提高 ML 模型的性能。

與上述預(yù)測一個(gè)人是否會拖欠貸款的問題類似，我們也可以將對數(shù)變換應(yīng)用于工資，因?yàn)槲覀兛吹焦べY信息中普遍存在很多偏差。大量人（約 80%）獲得基本工資，而一小部分人（約 20%）獲得大量工資。數(shù)據(jù)中存在相當(dāng)大的偏差，實(shí)際上可以通過使用對數(shù)變換來消除。

結(jié)論讀完這篇文章后，我相信您能夠理解對您的機(jī)器學(xué)習(xí)模型很重要的各種特征工程技術(shù)。在正確的時(shí)間使用最佳的特征工程技術(shù)確實(shí)非常方便，并且可以通過使用人工智能為公司生成有價(jià)值的預(yù)測。

來源：PyTorch研習(xí)社