Lp正則化在支持向量機(jī)中的應(yīng)用研究.pdf

1、正則化方法用近似解來逼近原不適定問題的解，是在工程技術(shù)領(lǐng)域中解決不適定問題的重要數(shù)學(xué)方法。在機(jī)器學(xué)習(xí)領(lǐng)域中，不同的正則化方法對(duì)同一機(jī)器學(xué)習(xí)方法來說具有不同的學(xué)習(xí)性能。如何選擇正則化方法是機(jī)器學(xué)習(xí)研究領(lǐng)域中的一個(gè)重要話題。傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)方法只最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)，往往會(huì)產(chǎn)生過學(xué)習(xí)問題。要提高分類器的分類性能，需要增加訓(xùn)練樣本量和憑借專家經(jīng)驗(yàn)來選擇分類函數(shù)模型。而統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法提出了分類函數(shù)的VC維、泛化能力、泛化能力的界以及結(jié)構(gòu)風(fēng)險(xiǎn)等理論，并指

2、出，在訓(xùn)練分類器時(shí)同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍可以降低分類函數(shù)的復(fù)雜度，解決過學(xué)習(xí)問題和小樣本問題，以及提高分類器的泛化能力。當(dāng)遇到有些樣本的分布是線性不可分時(shí)，如果采用線性分類模型進(jìn)行分類，其分類性能就會(huì)很差。此時(shí)可以利用非線性映射方法把原輸入樣本空間映射到更高維甚至是無限維的特征空間，在特征空間中可以實(shí)現(xiàn)線性分開這些樣本。在實(shí)際應(yīng)用中，可以利用滿足Mercer定理的核函數(shù)內(nèi)積來代替這種非線性映射方法。針對(duì)只遵循ERM準(zhǔn)則的機(jī)器學(xué)習(xí)方

3、法會(huì)產(chǎn)生過學(xué)習(xí)的問題，現(xiàn)有支持向量機(jī)在經(jīng)驗(yàn)風(fēng)險(xiǎn)一定的情況下，通過引用Lp(p=2，p=1)正則化來降低分類函數(shù)的VC維，實(shí)現(xiàn)SRM準(zhǔn)則，能夠解決過學(xué)習(xí)問題和小樣本問題，提高了分類器的泛化能力。本文的主要工作有:
　　 (1)對(duì)正問題、反問題、不適定問題、Moore-Penrose廣義解、廣義解的不穩(wěn)定性、正則化原理、正則化方法、統(tǒng)計(jì)機(jī)器學(xué)習(xí)原理以及統(tǒng)計(jì)學(xué)習(xí)理論中的VC維、泛化能力、泛化能力的界、SRM準(zhǔn)則等與支持向量機(jī)相關(guān)的基礎(chǔ)

4、性理論作了詳細(xì)的探討。
　　 (2)在有監(jiān)督學(xué)習(xí)框架下和半監(jiān)督學(xué)習(xí)框架下，探討了Lp(p=2，p=1)正則化線性支持向量機(jī)方法和核支持向量機(jī)方法，以及流形正則化支持向量機(jī)，并利用這些方法對(duì)合成的兩圓數(shù)據(jù)集和現(xiàn)實(shí)的四種兩類數(shù)據(jù)集進(jìn)行了分類性能的比較實(shí)驗(yàn)，驗(yàn)證了核支持向量機(jī)把非線性可分樣本映射到高維特征空間中后，能夠?qū)崿F(xiàn)線性分開這些樣本，以及引入訓(xùn)練樣本的內(nèi)蘊(yùn)幾何信息，可以提高支持向量機(jī)的分類性能，同時(shí)得出各數(shù)據(jù)集的分布特點(diǎn)以及各算

5、法的分類性能特點(diǎn)和ROC曲線特征。
　　 (3)結(jié)合稀疏思想及現(xiàn)有平滑函數(shù)的優(yōu)點(diǎn)，采用高斯平滑函數(shù)集來逼近Lp(p=0)正則化項(xiàng)，提出了平滑稀疏正則化支持向量機(jī)，詳細(xì)探討了其優(yōu)化步驟。平滑稀疏正則化支持向量機(jī)可以訓(xùn)練出模型更簡單的分類器，并具有樣本特征選擇的特性。并與現(xiàn)有支持向量機(jī)算法在5個(gè)兩類和多類數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)比較，得出了平滑稀疏正則化支持向量機(jī)方法的有效性。同時(shí)發(fā)現(xiàn)，對(duì)于多類數(shù)據(jù)集來說，內(nèi)在分類器模型具有一定的復(fù)雜性，