基于差異性的神經(jīng)網(wǎng)絡(luò)集成及其應(yīng)用研究.pdf

1、集成學(xué)習(xí)已經(jīng)成為機器學(xué)習(xí)的重要研究方向之一，它可以顯著地提高學(xué)習(xí)系統(tǒng)的泛化性能，特別是對于不穩(wěn)定的學(xué)習(xí)算法效果更加明顯，例如神經(jīng)網(wǎng)絡(luò)與決策樹。通常，使用泛化誤差來度量一個學(xué)習(xí)算法的泛化性能，泛化誤差越小，學(xué)習(xí)算法的性能越好。為了進(jìn)一步提高集成學(xué)習(xí)的泛化性能，Krogh與Hansen提出，當(dāng)集成中的神經(jīng)網(wǎng)絡(luò)彼此不同(差異性)且具有較高的正確率，集成學(xué)習(xí)的泛化性能將會得到提高。然而，構(gòu)造滿足這些條件的神經(jīng)網(wǎng)絡(luò)并不是一件易事，因此很多學(xué)者投入

2、到了這個問題的研究之中并提出了許多集成學(xué)習(xí)方法。 本文針對神經(jīng)網(wǎng)絡(luò)集成中存在的問題，在對當(dāng)前集成學(xué)習(xí)方法進(jìn)行深入細(xì)致的分析，并對它們各自的特點及優(yōu)缺點有了充分認(rèn)識的基礎(chǔ)上，對神經(jīng)網(wǎng)絡(luò)集成中的一些關(guān)鍵問題進(jìn)行了研究，主要研究內(nèi)容有： (1)提出了一種基于聚類技術(shù)的回歸型神經(jīng)網(wǎng)絡(luò)集成算法。針對回歸問題，使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法生成許多神經(jīng)網(wǎng)絡(luò)模型；對于這些模型，通過定義模型間的距離，并采用聚類技術(shù)研究了這些模型的相關(guān)性，應(yīng)用這種

3、方法不僅可以去除一些相關(guān)的神經(jīng)網(wǎng)絡(luò)模型，而且在一定程度上還可以確定神經(jīng)網(wǎng)絡(luò)集成的規(guī)模。另外，我們也研究了不同集成方法的性能、集成的正確率與集成規(guī)模間的關(guān)系。實驗結(jié)果表明，這種集成方法優(yōu)于傳統(tǒng)的集成算法。 (2)提出了一種用于提高神經(jīng)網(wǎng)絡(luò)分類器集成差異性的學(xué)習(xí)方法。在許多集成方法中，例如Bagging與Boosting，當(dāng)訓(xùn)練集規(guī)模較小時，神經(jīng)網(wǎng)絡(luò)模型間的差異會逐漸減小，因此集成學(xué)習(xí)的效果很不明顯，甚至還低于單個模型的學(xué)習(xí)。針對這

4、種情況，本文從提高神經(jīng)網(wǎng)絡(luò)差異性的角度出發(fā)，研究了小樣本數(shù)據(jù)集上的神經(jīng)網(wǎng)絡(luò)集成，提出了一種用于提高神經(jīng)網(wǎng)絡(luò)集成差異性的學(xué)習(xí)方法。實驗結(jié)果表明，這種方法的泛化性能在小規(guī)模數(shù)據(jù)集優(yōu)于bagging與boosting技術(shù)，而且在大規(guī)模數(shù)據(jù)集上也與這兩種技術(shù)相媲美。 (3)提出了基于復(fù)突觸神經(jīng)網(wǎng)絡(luò)的模糊聚類算法與聚類集成算法。在分析了Wei提出的聚類算法并指出這種方法存在的缺陷后，提出了一種改進(jìn)的基于復(fù)突觸神經(jīng)網(wǎng)絡(luò)的模糊聚類算法，實驗研

5、究了算法的性能問題；為了減少神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法陷入局部最優(yōu)的可能，進(jìn)一步提高復(fù)突觸神經(jīng)網(wǎng)絡(luò)聚類解的魯棒性及穩(wěn)定性，我們也研究了集成技術(shù)用于無監(jiān)督聚類并提出了聚類集成的一般算法。實驗結(jié)果表明，通過聚類集成可以獲得更穩(wěn)定的聚類解。 (4)研究了基于神經(jīng)網(wǎng)絡(luò)集成的入侵檢測。入侵檢測是指對入侵行為的發(fā)現(xiàn)，通過在計算機網(wǎng)絡(luò)或計算機系統(tǒng)中的若干關(guān)鍵點收集信息并對收集到的信息進(jìn)行分析，從而判斷網(wǎng)絡(luò)或系統(tǒng)中是否有違反安全策略的行為和被攻擊的跡象。