HDFS元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)研究.pdf

1、隨著數(shù)據(jù)存儲(chǔ)設(shè)備的存儲(chǔ)成本不斷降低，數(shù)據(jù)存儲(chǔ)已經(jīng)不再是決定系統(tǒng)性能的主要因素，轉(zhuǎn)而數(shù)據(jù)存儲(chǔ)系統(tǒng)的可用性成為了當(dāng)前評(píng)價(jià)系統(tǒng)性能的重要指標(biāo)。本文從高可用性的角度出發(fā)，依托于當(dāng)前流行的大數(shù)據(jù)平臺(tái)Hadoop下部署的存儲(chǔ)系統(tǒng)HDFS，研究其上元數(shù)據(jù)管理的高可用性優(yōu)化技術(shù)，以此來提高當(dāng)前HDFS HA方案的可用性。
　　本文主要從HDFS元數(shù)據(jù)管理中節(jié)點(diǎn)故障時(shí)系統(tǒng)的可用性狀態(tài)問題作為研究點(diǎn)，結(jié)合當(dāng)前HDFS Federation與HA組織模

2、式，分析了在當(dāng)前模式下單元數(shù)據(jù)節(jié)點(diǎn)故障時(shí)系統(tǒng)處于非高可用性階段，雙節(jié)點(diǎn)故障時(shí)管理員冷啟動(dòng)新的節(jié)點(diǎn)所耗費(fèi)的大量時(shí)間，以及集中式緩存未設(shè)置緩存替換策略的問題?；谏鲜鋈齻€(gè)問題，提出了本文的優(yōu)化技術(shù)，優(yōu)化技術(shù)的主要思想是結(jié)合了雙機(jī)熱備與雙機(jī)互備兩種冗余工作模式，將Federation模式下獨(dú)立的命名空間兩兩組合，當(dāng)某個(gè)命名空間下的節(jié)點(diǎn)發(fā)生故障后，可以將系統(tǒng)配置的另一個(gè)命名空間下的備份節(jié)點(diǎn)與當(dāng)前故障切換后的活躍節(jié)點(diǎn)形成新的高可用性組合，同時(shí)也實(shí)

3、現(xiàn)了當(dāng)一個(gè)命名空間下的HA雙節(jié)點(diǎn)均發(fā)生故障時(shí)，可由另一個(gè)命名空間下的備份節(jié)點(diǎn)接替成為故障命名空間下的活躍節(jié)點(diǎn)，實(shí)現(xiàn)了熱備份啟動(dòng)新的節(jié)點(diǎn)。
　　根據(jù)上述優(yōu)化思想，本文在以下幾種機(jī)制上進(jìn)行了詳細(xì)的設(shè)計(jì)實(shí)現(xiàn)，分別為基于QJM的共享存儲(chǔ)機(jī)制優(yōu)化，基于ZKFC的故障檢測(cè)與切換技術(shù)優(yōu)化以及數(shù)據(jù)塊映射表動(dòng)態(tài)維護(hù)技術(shù)優(yōu)化。
　　此外，根據(jù)元數(shù)據(jù)訪問請(qǐng)求呈現(xiàn)出的集中性與突發(fā)性特征，本文設(shè)計(jì)了一個(gè)能提升系統(tǒng)高可用性的集中式元數(shù)據(jù)緩存替換策略，新

4、策略選取數(shù)據(jù)流行度作為替換標(biāo)準(zhǔn)，利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型、多元線性回歸模型以及衰減函數(shù)模型結(jié)合形成的多個(gè)組合模型來周期性地預(yù)測(cè)數(shù)據(jù)流行度。
　　最后，通過實(shí)驗(yàn)測(cè)試進(jìn)行了優(yōu)化技術(shù)的綜合性能分析，根據(jù)得出的實(shí)驗(yàn)結(jié)果，優(yōu)化技術(shù)能夠?qū)崿F(xiàn)節(jié)點(diǎn)故障后啟動(dòng)新的高可用性組合以及熱備方式啟動(dòng)新節(jié)點(diǎn)的功能，同時(shí)也能確保數(shù)據(jù)完整一致性等性能要求。此外，通過Simple-Scalar模擬器，驗(yàn)證了集中式緩存替換策略能夠提高元數(shù)據(jù)的cache-hit-rati