1、特征選擇介紹

　?。?）特征選擇的定義

　　對當(dāng)前學(xué)習(xí)任務(wù)有價(jià)值的屬性稱為是“相關(guān)特征”，沒有價(jià)值的屬性稱為是“無關(guān)特征”，從給定的特征集中選擇出相關(guān)特征子集的過程，就稱為是“特征選擇”。

　　其中還有一種特征稱為是“冗余特征”，這些特征指的是可以從其他特征中推演出來的特征。

　?。?）特征選擇的重要性

　　特征選擇是一個(gè)“數(shù)據(jù)預(yù)處理”過程，它的重要性體現(xiàn)在兩個(gè)方面：

　　1）減輕維度災(zāi)難問題。

　　2）去除無關(guān)特征可以降低學(xué)習(xí)的難度。

　　2、子集搜索與評價(jià)

　　想要找一個(gè)最好的特征子集，最簡單最笨的方法就是把所有的特征排列組合，遍歷每一個(gè)子集從中選擇里面最好的一個(gè)，這種方法必然不可取。對這種方法的一種改進(jìn)就是使用子集搜索與評價(jià)，它的思想就是先產(chǎn)生一個(gè)特征子集，然后對它進(jìn)行評價(jià)，之后根據(jù)評價(jià)結(jié)果選擇下一個(gè)特征子集，再進(jìn)行移動(dòng)學(xué)習(xí)評價(jià)，……，直到無法找到更好的候選子集。

　　可以看出該算法是子集搜索與子集評價(jià)的一個(gè)迭代過程，下面分別對這兩部分進(jìn)行介紹：

　?。?）子集搜索

　　子集搜索分為“前向”（forwardforward）搜索、“后向”（backwardbackward）搜索和“雙向”（bidirectional）搜索。

　　前向搜索就是從只一個(gè)特征開始，每次增加一個(gè)特征，直到某次的特征子集不如上一輪的子集為止。

　　后向搜索就是從完整的特征集合開始，每次去掉一個(gè)無關(guān)的特征，直到去掉一個(gè)特征就會(huì)使效果明顯下降為止。

　　雙向搜索就是將前兩種方法結(jié)合在一起，每一輪逐漸增加選定的相關(guān)特征（這些特征在后續(xù)迭代中不會(huì)被去掉），同時(shí)減少無關(guān)特征。