人工神經網絡（Artificial Neural Network）又稱連接機模型，是在現(xiàn)代神經學、生物學、心理學等學科研究的基礎上產生的，它反映了生物神經系統(tǒng)處理外界事物的基本過程，是在模擬人腦神經組織的基礎上發(fā)展起來的計算系統(tǒng)，是由大量處理單元通過廣泛互聯(lián)而構成的網絡體系，它具有生物神經系統(tǒng)的基本特征，在一定程度上反映了人腦功能的若干反映，是對生物系統(tǒng)的某種模擬，具有大規(guī)模并行、分布式處理、自組織、自學習等優(yōu)點，被廣泛應用于語音分析、圖像識別、數(shù)字水印、計算機視覺等很多領域，取得了許多突出的成果。最近由于人工神經網絡的快速發(fā)展，它已經成為模式識別的強有力的工具。神經網絡的運用展開了新的領域，解決其它模式識別不能解決的問題，其分類功能特別適合于模式識別與分類的應用。多層前向BP網絡是目前應用最多的一種神經網絡形式，它具備神經網絡的普遍優(yōu)點，但它也不是非常完美的，為了更好的理解應用神經網絡進行問題求解，這里對它的優(yōu)缺點展開一些討論。

BP神經網絡的優(yōu)點：

1) 非線性映射能力：BP神經網絡實質上實現(xiàn)了一個從輸入到輸出的映射功能，數(shù)學理論證明三層的神經網絡就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。這使得其特別適合于求解內部機制復雜的問題，即BP神經網絡具有較強的非線性映射能力。

2) 自學習和自適應能力：BP神經網絡在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應的將學習內容記憶于網絡的權值中。即BP神經網絡具有高度自學習和自適應的能力。

3) 泛化能力：所謂泛化能力是指在設計模式分類器時，即要考慮網絡在保證對所需分類對象進行正確分類，還要關心網絡在經過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。也即BP神經網絡具有將學習成果應用于新知識的能力。

4) 容錯能力：BP神經網絡在其局部的或者部分的神經元受到破壞后對全局的訓練結果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。即BP神經網絡具有一定的容錯能力。

鑒于BP神經網絡的這些優(yōu)點，國內外不少研究學者都對其進行了研究，并運用網絡解決了不少應用問題。但是隨著應用范圍的逐步擴大，BP神經網絡也暴露出了越來越多的缺點和不足。

缺點和不足

1) 局部極小化問題：從數(shù)學角度看，傳統(tǒng)的 BP神經網絡為一種局部搜索的優(yōu)化方法，它要解決的是一個復雜非線性化問題，網絡的權值是通過沿局部改善的方向逐漸進行調整的，這樣會使算法陷入局部極值，權值收斂到局部極小點，從而導致網絡訓練失敗。加上BP神經網絡對初始網絡權重非常敏感，以不同的權重初始化網絡，其往往會收斂于不同的局部極小，這也是很多學者每次訓練得到不同結果的根本原因。

2) BP 神經網絡算法的收斂速度慢：由于BP神經網絡算法本質上為梯度下降法，它所要優(yōu)化的目標函數(shù)是非常復雜的，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這使得BP算法低效；又由于優(yōu)化的目標函數(shù)很復雜，它必然會在神經元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內，權值誤差改變很小，使訓練過程幾乎停頓；BP神經網絡模型中，為了使網絡執(zhí)行BP算法，不能使用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預先賦予網絡，這種方法也會引起算法低效。以上種種，導致了BP神經網絡算法收斂速度慢的現(xiàn)象。

3) BP 神經網絡結構選擇不一：BP神經網絡結構的選擇至今尚無一種統(tǒng)一而完整的理論指導，一般只能由經驗選定。網絡結構選擇過大，訓練中效率不高，可能出現(xiàn)過擬合現(xiàn)象，造成網絡性能低，容錯性下降，若選擇過小，則又會造成網絡可能不收斂。而網絡的結構直接影響網絡的逼近能力及推廣性質。因此，應用中如何選擇合適的網絡結構是一個重要的問題。

4) 應用實例與網絡規(guī)模的矛盾問題：BP神經網絡難以解決應用問題的實例規(guī)模和網絡規(guī)模間的矛盾問題，其涉及到網絡容量的可能性與可行性的關系問題，即學習復雜性問題。

5) BP神經網絡預測能力和訓練能力的矛盾問題：預測能力也稱泛化能力或者推廣能力，而訓練能力也稱逼近能力或者學習能力。一般情況下，訓練能力差時，預測能力也差，并且一定程度上，隨著訓練能力地提高，預測能力會得到提高。但這種趨勢不是固定的，其有一個極限，當達到此極限時，隨著訓練能力的提高，預測能力反而會下降，也即出現(xiàn)所謂“過擬合”現(xiàn)象。出現(xiàn)該現(xiàn)象的原因是網絡學習了過多的樣本細節(jié)導致，學習出的模型已不能反映樣本內含的規(guī)律，所以如何把握好學習的度，解決網絡預測能力和訓練能力間矛盾問題也是BP神經網絡的重要研究內容。

6） BP神經網絡樣本依賴性問題：網絡模型的逼近和推廣能力與學習樣本的典型性密切相關，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。