核函數(shù)的參數(shù)選擇.pdf

1、20世紀(jì)80年代，模式分析領(lǐng)域經(jīng)歷了一場“非線性革命”：為擺脫計(jì)算和統(tǒng)計(jì)上的線性局限的算法，支持向量機(jī)(Support Vector Machine,SVM)被第一次作為核方法提了出來。隨后，基于核的方法擴(kuò)展到除分類以外更寬廣的模式分析領(lǐng)域。這樣，新技術(shù)都被嚴(yán)格的理論分析所推動(dòng)，在計(jì)算效率的保證下制造出來或發(fā)展起來。 基于核的分析對于數(shù)學(xué)家、科學(xué)家和工程師來說，是一個(gè)強(qiáng)大的新工具。它提供了非常豐富的方法，可以應(yīng)用在模式分析、信號

2、處理、句法模式識別和其它模式識別領(lǐng)域。隨著基于核的學(xué)習(xí)理論在應(yīng)用上的巨大成功，它日漸成為當(dāng)今機(jī)器學(xué)習(xí)研究的熱點(diǎn)和主流之一。 核參數(shù)選擇是基于核的分類算法的一種新型技術(shù)，對于基于核的分類器起著至關(guān)重要的作用。近年來許多人開始認(rèn)真審視這項(xiàng)技術(shù)，并且新的思想和技術(shù)還在不斷涌現(xiàn)。如何找到核參數(shù)的最優(yōu)點(diǎn)日漸成為一項(xiàng)熱門研究課題，并相繼出現(xiàn)了多種核參數(shù)選擇方式，其中使用目標(biāo)函數(shù)選擇核參數(shù)的方式越來越受到人們的重視。 通過歸納核聚類算

3、法，本文主要研究核函數(shù)的參數(shù)選擇方法及其應(yīng)用問題。在此基礎(chǔ)上，本文又著重研究使用目標(biāo)函數(shù)為KNN以及基于核的K-demiods選擇參數(shù)的算法，并通過實(shí)驗(yàn)驗(yàn)證和分析了目標(biāo)函數(shù)的使用對核參數(shù)選擇效率的影響，從而為核函數(shù)參數(shù)選擇更廣泛的推廣應(yīng)用提供了有利的基礎(chǔ)。 本文的主要?jiǎng)?chuàng)新點(diǎn)如下： 1.總結(jié)核的基本理論及劃分聚類的主要算法。 本文系統(tǒng)和全面的總結(jié)了以前零散的核的基本理論和幾種常用的核函數(shù)，并對如何構(gòu)造新的核函數(shù)進(jìn)行

4、了闡述，為核函數(shù)的構(gòu)造提供了堅(jiān)實(shí)的理論基礎(chǔ)。同時(shí)，文章對主要的劃分聚類算法的進(jìn)行了總結(jié)，如K-均值法、基于核的fisher判別分析、基于核的感知機(jī)等。 2.提出目標(biāo)函數(shù)為KNN選擇核參數(shù)的兩種方式。 傳統(tǒng)的選擇最優(yōu)核參數(shù)的算法具有很高的時(shí)間復(fù)雜度和空間復(fù)雜度，并且擴(kuò)展能力很有限。本文針對基于核的最小距離分類器的特點(diǎn)，結(jié)合新空間中數(shù)據(jù)點(diǎn)的分布情況，設(shè)計(jì)了選擇最優(yōu)核參數(shù)的目標(biāo)函數(shù)算法，為基于核的最小距離分類器提供了有效支持，

5、顯著提高了其分類的正確率。其中目標(biāo)函數(shù)的使用可以減少運(yùn)算次數(shù)、簡化運(yùn)算過程，從而顯著提高核參數(shù)選擇算法的效率。 3.提出目標(biāo)函數(shù)為基于核的K-demiods選擇核參數(shù)的方式。 基于核的K-demiods方法是一種KNN的改進(jìn)的算法。現(xiàn)有的基于核的分類算法主要在通過核映射來提高分類正確率，但是分類正確率與參數(shù)的選擇有直接聯(lián)系。我們通過描，述數(shù)據(jù)點(diǎn)在新的特征空間的期望，通過目標(biāo)函數(shù)來選擇參數(shù)，從而改善了該算法的性能，基于人工