pca的原理及詳細(xì)步驟

1、一、基本原理主成分分析是數(shù)學(xué)上對數(shù)據(jù)降維的一種方法。其基本思想是設(shè)法將原來眾多的具有一定相關(guān)性的指標(biāo)X1，X2，…，XP（比如p個指標(biāo)），重新組合成一組較少個數(shù)的互不相關(guān)的綜合指標(biāo)Fm來代替原來指標(biāo)。那么綜合指標(biāo)應(yīng)該如何去提取，使其既能最大程度的反映原變量Xp所代表的信息，又能保證新指標(biāo)之間保持相互無關(guān)（信息不重疊）。設(shè)F1表示原變量的第一個線性組合所形成的主成分指標(biāo)，即由數(shù)學(xué)知識可知，每一個主成分所提取的信息量11112121...p

2、pFaXaXaX????可用其方差來度量，其方差其方差Var(F1)Var(F1)越大，表示越大，表示F1F1包含的信息越多包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的線性組合中選取的F1應(yīng)該是X1，X2，…，XP的所有線性組合中方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來p個指標(biāo)的信息，再考慮選取第二個主成分指標(biāo)F2，為有效地反映原信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中，即F2與F1要保持

3、獨立、不相關(guān)，用數(shù)學(xué)語言表達(dá)就是其協(xié)方差Cov(F1F2)=0，所以F2是與F1不相關(guān)的X1，X2，…，XP的所有線性組合中方差最大的，故稱F2為第二主成分，依此類推構(gòu)造出的F1、F2、……、Fm為原變量指標(biāo)X1、X2……XP第一、第二、……、第m個主成分。11111221221122221122...............ppppmmmmppFaXaXaXFaXaXaXFaXaXaX???????????????????根據(jù)以上分析

4、得知：(1)Fi與Fj互不相關(guān)，即Cov(Fi，F(xiàn)j)=0并有Var(Fi)=ai’Σai，其中Σ為X的協(xié)方差陣(2)F1是X1，X2，…，Xp的一切線性組合（系數(shù)滿足上述要求）中方差最大的……即Fm是與F1，F(xiàn)2，……，F(xiàn)m－1都不相關(guān)的X1，X2，…，XP的所有線性組合中方差最大者。F1，F(xiàn)2，…，F(xiàn)m（m≤p）為構(gòu)造的新變量指標(biāo)，即原變量指標(biāo)的第一、第二、……、第m個主成分。由以上分析可見，主成分分析法的主要任務(wù)有兩點：（1）確定

5、各主成分Fi（i=1，2，…，m）關(guān)于原變量Xj（j=1，2，…，p）的表達(dá)式，即系數(shù)（i=1，2，…，m；j=1，2，…，p）。從數(shù)學(xué)上可從數(shù)學(xué)上可ija以證明，原變量以證明，原變量協(xié)方差矩陣的特征根是主成分的方差，所以前矩陣的特征根是主成分的方差，所以前m個較大特征根個較大特征根就代表前就代表前m個較大的主成分方差值；原變量個較大的主成分方差值；原變量協(xié)方差矩陣前矩陣前m個較大的特征值個較大的特征值（這樣選取才能保證主成分的方差依次

6、最大）所對應(yīng)的特征向量就是相應(yīng)主（這樣選取才能保證主成分的方差依次最大）所對應(yīng)的特征向量就是相應(yīng)主i?成分成分FiFi表達(dá)式的系數(shù)表達(dá)式的系數(shù)，為了加以限制，系數(shù)，為了加以限制，系數(shù)啟用的是啟用的是對應(yīng)的單位化的特對應(yīng)的單位化的特iaiai?計算樣品在m個主成分上的得分：i=1，2，…，m1122...iiipipFaXaXaX????實際應(yīng)用時，指標(biāo)的量綱往往不同，所以在主成分計算之前應(yīng)先消除量綱的影響。消除數(shù)據(jù)的量綱有很多方法，常用

7、方法是將原始數(shù)據(jù)標(biāo)準(zhǔn)化，即做如下數(shù)據(jù)變換：12...12...ijjijjxxxinjps????其中：，11njijixxn???2211()1njijjisxxn?????根據(jù)數(shù)學(xué)公式知道，①任何隨機變量對其作標(biāo)準(zhǔn)化變換后，其協(xié)方差與其相關(guān)系數(shù)是一回事，即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。即標(biāo)準(zhǔn)化后的變量協(xié)方差矩陣就是其相關(guān)系數(shù)矩陣。②另一方面，根據(jù)協(xié)方差的公式可以推得標(biāo)準(zhǔn)化后的協(xié)方差就是原變量的相關(guān)系數(shù)，亦即，標(biāo)準(zhǔn)化后的

8、變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣標(biāo)準(zhǔn)化后的變量的協(xié)方差矩陣就是原變量的相關(guān)系數(shù)矩陣。也就是說，在標(biāo)準(zhǔn)化前后變量的相關(guān)系數(shù)矩陣不變化。在標(biāo)準(zhǔn)化前后變量的相關(guān)系數(shù)矩陣不變化。根據(jù)以上論述，為消除量綱的影響，將變量標(biāo)準(zhǔn)化后再計算其協(xié)方差矩陣，就是直接計算原變量的相關(guān)系數(shù)矩陣，所以主成分分析的實際常用計算步驟是：☆計算相關(guān)系數(shù)矩陣☆求出相關(guān)系數(shù)矩陣的特征值及相應(yīng)的正交化單位特征向量i?ia☆選擇主成分☆計算主成分得分總結(jié)：原指標(biāo)相關(guān)系數(shù)

9、矩陣相應(yīng)的特征值?i為主成分方差的貢獻(xiàn)，方差的貢獻(xiàn)率為，越大，說明相應(yīng)的主成分反映綜合信息的能力越強，1piiii??????i?可根據(jù)?i的大小來提取主成分。每一個主成分的組合系數(shù)（原變量在該主成分上的載荷）就是相應(yīng)特征值?i所對應(yīng)的單位特征向量。ia主成分分析法的計算步驟主成分分析法的計算步驟1、原始指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化采集p維隨機向量x=(x1X2...Xp)T)n個樣品xi=(xi1xi2...xip)T，i=12…n，n＞p，構(gòu)造