元數(shù)據(jù)服務(wù)器集群負(fù)載均衡技術(shù)的研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，全球信息存儲(chǔ)量正在以57％的復(fù)合年增長(zhǎng)率膨脹。大量數(shù)據(jù)密集型應(yīng)用對(duì)現(xiàn)有的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)提出了更高的要求。對(duì)象存儲(chǔ)技術(shù)同時(shí)具備傳統(tǒng)SAN快速訪問的特點(diǎn)和NAS跨平臺(tái)數(shù)據(jù)共享和強(qiáng)安全性的優(yōu)勢(shì)。同時(shí)對(duì)象存儲(chǔ)設(shè)備本身具備的智能管理功能。因此，對(duì)象存儲(chǔ)系統(tǒng)具有高性能、可擴(kuò)展、高可用性和強(qiáng)安全性等特點(diǎn)，是未來網(wǎng)絡(luò)存儲(chǔ)的發(fā)展方向。元數(shù)據(jù)服務(wù)器(MetaData Server，MDS)是對(duì)象存儲(chǔ)系統(tǒng)的重要組成部分，在對(duì)象存儲(chǔ)系統(tǒng)中

2、的主要功能包括：管理文件系統(tǒng)名字空間、文件/目錄和對(duì)象物理存儲(chǔ)位置之間的映射、用戶訪問控制等。因此，MDS集群的處理能力是整個(gè)對(duì)象存儲(chǔ)系統(tǒng)高效運(yùn)作的重要一環(huán)。
　　本文分析了當(dāng)前主流網(wǎng)絡(luò)存儲(chǔ)架構(gòu)中元數(shù)據(jù)服務(wù)器集群的負(fù)載均衡方案。針對(duì)元數(shù)據(jù)服務(wù)器性能異構(gòu)造成的集群負(fù)載不均衡問題，本文提出了一種基于權(quán)重的元數(shù)據(jù)服務(wù)器集群負(fù)載均衡策略(Weight-based Metadata Server Cluster Load Balancing

3、 Strategy，WLBS)，并對(duì)其在Ceph框架中進(jìn)行實(shí)現(xiàn)。本文的主要研究和開發(fā)內(nèi)容包括以下四個(gè)方面：
　　(1)在分析對(duì)象存儲(chǔ)與傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)的基礎(chǔ)上，總結(jié)了MDS負(fù)載均衡技術(shù)所涉及的包括元數(shù)據(jù)分區(qū)和服務(wù)器熱點(diǎn)評(píng)價(jià)兩個(gè)關(guān)鍵問題；
　　(2)提出了元數(shù)據(jù)服務(wù)器熱點(diǎn)評(píng)測(cè)模型，主要解決準(zhǔn)確獲取服務(wù)負(fù)載狀況的問題。該模型在傳統(tǒng)計(jì)數(shù)法的基礎(chǔ)上增加了對(duì)MDS性能值的考慮，提出了基于操作時(shí)延的MDS性能模型。該性能模型避免了傳統(tǒng)“

4、白盒”性能模型量化資源影響力的難題，準(zhǔn)確評(píng)估服務(wù)器的當(dāng)前性能值；
　　(3)提出了一種基于權(quán)重負(fù)載均衡策略，主要解決MDS性能異構(gòu)情況下的負(fù)載均衡問題。該策略根據(jù)(2)中熱點(diǎn)評(píng)測(cè)模型獲取節(jié)點(diǎn)當(dāng)前的負(fù)載狀況，并計(jì)算出集群的平均負(fù)載水平。為了實(shí)現(xiàn)負(fù)載與性能相對(duì)應(yīng)的目標(biāo)，高于平均負(fù)載水平的MDS會(huì)主動(dòng)以目錄子樹遷移方式進(jìn)行負(fù)載遷移，將一部分目錄子樹遷移到低于平均負(fù)載水平的MDS，最終實(shí)現(xiàn)異構(gòu)MDS集群的負(fù)載均衡；
　　(4)搭建實(shí)