基于稀疏學習和流形學習的KNN算法研究.pdf

1、數(shù)據(jù)挖掘是一種從大量復雜數(shù)據(jù)中，尋找、提取有用規(guī)律，形成有用模式，得到價值的過程。隨著現(xiàn)代科技水平的發(fā)展，尤其是近年大數(shù)據(jù)概念的提出，我們正進入一個數(shù)據(jù)資源開發(fā)的時代，數(shù)據(jù)挖掘技術(shù)正得到越來越多的重視，在工業(yè)發(fā)展，醫(yī)療衛(wèi)生，信息產(chǎn)業(yè)等諸多領域發(fā)揮著重要的作用。
　　KNN（K-最近鄰）算法作為數(shù)據(jù)挖掘的“十大經(jīng)典算法”之一，因為對復雜數(shù)據(jù)集性能優(yōu)越，容易實現(xiàn)的特點，應用領域十分廣泛。但KNN算法自身也存在著諸多缺點。例如K值如何選

2、取便是個公開性難題，傳統(tǒng)的K值由使用者自定義確定，但這種方法有很強的隨機性，一定程度上依賴人員的經(jīng)驗。另外一些方法通過十折交叉法得到K值，雖然這種方法避免了K值選取的盲目性，可以確定具體的K值，但是計算量大，效率偏低，并且沒有考慮到數(shù)據(jù)自身的結(jié)構(gòu)特點。另外，真實的樣本數(shù)據(jù)本身存在著噪聲，傳統(tǒng)的KNN算法對于實際樣本存在的噪盧沒有識別能力，敏感性較高，大量噪聲樣本的存在會影響形成模型和規(guī)則的準確性。其次，KNN算法需要做很多數(shù)據(jù)空間的轉(zhuǎn)換

3、，在進行投影變換過程中，數(shù)據(jù)本身的歐式距離會產(chǎn)生變化，造成的直接結(jié)果就是會改變樣本之間的近鄰關(guān)系，造成KNN算法進行相對距離計算時產(chǎn)生較大的偏差，如何保證在這種空間轉(zhuǎn)換的過程中，依然能夠保持數(shù)據(jù)之間相對不變的位置關(guān)系，保證近鄰距離計算的準確性是一個難題。最后，傳統(tǒng)KNN算法在使用樣本時更多的是孤立的看待，忽略了他們之間存在的相關(guān)關(guān)系，數(shù)據(jù)本身的特點決定相同屬性類型的樣本之間存在相關(guān)關(guān)系，這種相關(guān)性的存在也保存著大量有用的信息。
　

4、　為此，本文基于稀疏學習理論和流形學習理論知識，使用融合L2.1范式的最小二乘方模型重構(gòu)的方法優(yōu)化樣本空間，自動確定KNN算法中的K值[1]。重構(gòu)過程中充分利用樣本間的相關(guān)關(guān)系，尋找樣本之間的有用信息;本文應用的具有行稀疏性的L2.1范式，能使變換陣W具有很好的稀疏效果，具備去噪能力，并且能夠選取合適的數(shù)據(jù)樣本，壓縮樣本空間。考慮重構(gòu)的過程中，投影變換時樣本空間應保持數(shù)據(jù)結(jié)構(gòu)近鄰關(guān)系不變的問題，本文引入基于流形學習理論思想的LPP算法，