無論你是剛入門還是已經從事人工智能模型相關工作一段時間，機器學習和深度學習中都存在一些我們需要時刻關注并銘記的常見錯誤。如果對這些錯誤置之不理，日后可能會引發(fā)諸多麻煩！只要我們密切關注數據、模型架構，并驗證輸出結果，就能不斷提升專業(yè)技能，養(yǎng)成優(yōu)秀數據科學家的工作習慣。

需避免的機器學習和深度學習數據錯誤

在訓練數據驅動的人工智能模型時，我們會遇到一些常見錯誤和局限性。而在運行模型之前，準備數據集的重要性不言而喻，這是構建高效模型的關鍵。訓練人工智能模型時，80% 的工作都集中在數據準備上，包括數據收集、清理和預處理，剩下的 20% 則用于模型選擇、訓練、調優(yōu)和評估。

1. 使用低質量數據

低質量數據可能成為訓練人工智能模型（尤其是深度學習模型）的重大障礙。數據質量會對模型性能產生關鍵影響，低質量數據會導致模型表現不佳，得出不可靠的結果。

低質量數據的常見問題包括：

• 數據缺失或不完整：如果數據的很大一部分缺失或不完整，將難以訓練出準確且可靠的模型。
• 數據存在噪聲：包含大量噪聲的數據（如異常值、錯誤信息或無關信息）會引入偏差，降低整體準確性，從而對模型性能產生負面影響。
• 數據缺乏代表性：如果用于訓練模型的數據無法代表其要解決的問題或執(zhí)行的任務，模型的表現和泛化能力都會受到影響。

通過數據治理、數據整合和數據探索等方式仔細評估和界定數據，確保數據高質量至關重要。采取這些步驟后，我們才能獲得清晰可用的數據。

2. 忽視極端值（過高或過低）

數據相關的第二個常見深度學習錯誤是未能識別和處理數據集中的極端值。切勿忽視這些極端值，它們會對深度學習模型（尤其是神經網絡）產生重大影響。我們可能會認為應保留極端值，因為它們能反映數據的真實情況，但實際上極端值往往屬于邊緣案例。若要訓練模型實現任務泛化，這些極端值會降低準確性、引入偏差并增加方差。

有時極端值只是數據噪聲導致的（可采用上一部分提到的方法清理），而有時它們可能預示著更嚴重的問題。如果不密切關注數據中的極端值，它們可能會極大地影響結果，導致模型做出錯誤預測。

以下是處理數據中極端值的幾種有效方法：

• 采用成熟的統(tǒng)計方法（如 Z 分數法、假設檢驗等）移除極端值。
• 運用 Box-Cox 變換或中值濾波等技術，通過限制極端值范圍或設置上限的方式對其進行修正和清理。
• 改用更穩(wěn)健的估計量（如中值數據點或截尾均值）替代常規(guī)均值，以更好地處理極端值。

處理數據集中極端值的具體方式，很大程度上取決于所使用的數據以及深度學習模型的研究類型。但無論如何，都要時刻關注極端值并加以考慮，避免犯下這個常見的機器學習和深度學習錯誤！

3. 使用過大或過小的數據集

數據集大小會對深度學習模型的訓練產生重要影響。一般來說，數據集越大，模型性能越好。這是因為更大的數據集能讓模型更多地了解數據中潛在的模式和關系，從而更好地泛化到新的、未見過的數據上。

但需要注意的是，僅僅擁有大數據集是不夠的，數據還需具備高質量和多樣性才能發(fā)揮作用。如果數據量雖大但質量低下或缺乏多樣性，模型性能也無法得到提升。此外，數據過多也可能引發(fā)問題。

• 過擬合：如果數據集過小，模型可能沒有足夠的樣本進行學習，容易出現過擬合現象。這意味著模型在訓練數據上表現良好，但在新的、未見過的數據上表現糟糕。
• 欠擬合：如果數據集過大，模型可能會過于復雜，無法學習到數據中潛在的模式，從而導致欠擬合。此時模型在訓練數據和測試數據上的表現都較差。

通常而言，數據集需要足夠大，能為模型提供充足的學習樣本，但又不能過大，以免造成計算困難或訓練時間過長，存在一個最佳平衡點。此外，確保數據的多樣性和高質量也同樣重要，這樣才能讓數據發(fā)揮實際效用。

機器學習和深度學習中常見的架構錯誤

在機器學習和深度學習工作中，犯錯是難免的。但有些容易糾正的錯誤，往往會造成最嚴重的損失。每個人工智能項目都應根據具體情況進行評估，以確定合適的架構，從而獲得最佳結果。

有時只需升級某些組件即可，但在其他情況下，可能需要重新規(guī)劃，確保所有部分都能合理整合。

4. 使用劣質硬件

簡單來說，深度學習模型的主要功能是處理海量數據。正因為如此，許多老舊的系統(tǒng)和部件往往無法承受這種壓力，在處理深度學習模型所需的龐大數據時會不堪重負而出現故障。

使用劣質硬件會因計算資源、內存、并行處理能力和存儲容量有限，影響模型的訓練性能。如今已不再是使用數百個 CPU 的時代，GPU 計算在深度學習和機器學習中的高效性，讓現代技術能夠并行處理訓練穩(wěn)健模型所需的數百萬次計算。

大型人工智能模型（尤其是在處理大型數據集時）的訓練也需要大量內存。切勿在內存上吝嗇，因為當訓練開始后，若出現內存不足的錯誤，就不得不從頭再來。除了數據存儲，還需要充足的空間來存放大型數據集。

緩解計算硬件的這些限制并不復雜。可以對數據中心進行現代化升級，以應對高強度計算任務。也可以利用 HuggingFace 等平臺提供的預訓練模型，為開發(fā)復雜模型打下基礎，并對其進行微調。

5. 集成錯誤

當一個組織決定升級到深度學習技術時，通常已經擁有了想要繼續(xù)使用或重新利用的設備。然而，將最新的深度學習技術整合到現有的老舊技術和系統(tǒng)（包括物理系統(tǒng)和數據系統(tǒng)）中，是一項極具挑戰(zhàn)性的任務。

要制定最佳的集成策略，需保持準確的解讀和文檔記錄，因為可能需要對硬件以及所使用的數據集進行重新調整。

與專業(yè)的實施和集成合作伙伴合作，可以大大簡化異常檢測、預測分析和集成建模等服務的部署。在項目開始時就應考慮到這一點，以避免這個常見的機器學習和深度學習錯誤。

需避免的機器學習和深度學習輸出錯誤

當數據集準備就緒且架構穩(wěn)定后，我們就可以開始從深度學習模型中獲取輸出結果了。但在這一環(huán)節(jié)，人們很容易陷入一個常見的機器學習和深度學習錯誤：沒有足夠關注輸出結果。

6. 反復使用同一個模型

訓練一個深度學習模型后就反復使用，看似是個不錯的主意，但實際上這是不符合常理的！

只有通過訓練多個迭代版本和不同類型的深度學習模型，我們才能收集到具有統(tǒng)計意義、可用于研究的數據。例如，如果用戶只訓練一個模型并反復使用，就會得到一系列可預測的標準化結果。但這可能會導致忽視引入多種數據集的機會，而這些數據集或許能帶來更有價值的見解。

相反，如果使用多個深度學習模型，并在多種數據集上進行訓練，我們就能發(fā)現其他模型可能忽略或有不同解讀的各種因素。對于神經網絡等深度學習模型而言，這正是算法能夠學習產生更多樣化輸出，而非相同或相似結果的方式。

7. 試圖讓第一個模型成為最佳模型

剛開始接觸深度學習時，人們很容易想要創(chuàng)建一個能夠完成所有必要任務的單一模型。但不同的模型擅長預測不同的事物，因此這種做法通常注定會失敗。

例如，決策樹在預測類別數據（且各組件之間沒有明確關聯(lián)）時往往表現出色，但在處理回歸問題或進行數值預測時卻效果不佳。另一方面，邏輯回歸在處理純數值數據時非常高效，但在進行類別預測或分類時卻存在不足。

迭代和多樣化是獲得穩(wěn)健結果的最佳手段。雖然構建一個模型后反復使用看似很有吸引力，但這會導致結果停滯不前，還可能讓用戶忽略許多其他潛在的輸出可能性！

本文轉自：聯(lián)泰集群 LTHPC