基于POSIX語義的分布式文件系統(tǒng)客戶端設(shè)計(jì)與實(shí)現(xiàn).pdf

1、自云計(jì)算概念提出以來，作為核心部分之一的云存儲(chǔ)(分布式文件系統(tǒng))也迅速成為研究熱點(diǎn)。與普通的存儲(chǔ)方式不同，云存儲(chǔ)是由大量普通PC形成的存儲(chǔ)集群來提供海量分布式數(shù)據(jù)存儲(chǔ)服務(wù)，通過數(shù)據(jù)冗余的方式來實(shí)現(xiàn)數(shù)據(jù)透明存儲(chǔ)和底層節(jié)點(diǎn)的容錯(cuò)性。如何實(shí)現(xiàn)數(shù)據(jù)的高效存儲(chǔ)是云存儲(chǔ)中的關(guān)鍵技術(shù)之一。
　　本文通過對(duì)現(xiàn)有分布式文件系統(tǒng)詳細(xì)介紹和全面分析之后，提出了一個(gè)基于私有云的分布式文件系統(tǒng) CStore，CStore系統(tǒng)由大量的元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器

2、節(jié)點(diǎn)等部件組成，向上層用戶提供一個(gè)高效的存儲(chǔ)服務(wù)。最后，結(jié)合項(xiàng)目中的實(shí)際工作，論文設(shè)計(jì)并實(shí)現(xiàn)了CStore系統(tǒng)中基于POSIX語義的Linux客戶端。整個(gè)客戶端所包含的基本工作和創(chuàng)新點(diǎn)如下：
　　1．FUSE文件系統(tǒng)?？蛻舳藢?shí)現(xiàn)了一個(gè)基于FUSE協(xié)議的用戶態(tài)文件系統(tǒng)驅(qū)動(dòng)，通過以虛擬磁盤的方式實(shí)現(xiàn)云端數(shù)據(jù)的本地化，原有程序均不修改就能直接運(yùn)行?？蛻舳藘?nèi)部實(shí)現(xiàn)采用流水線處理模型，每個(gè)功能模塊采用一個(gè)線程進(jìn)行管理，線程之間采用域套接字通

3、信方式和等待隊(duì)列機(jī)制來實(shí)現(xiàn)異步消息的處理。
　　2．緩存組織。為了減少云端服務(wù)器壓力和通信開銷，客戶端提出了一個(gè)高效的數(shù)據(jù)緩存算法將元數(shù)據(jù)進(jìn)行內(nèi)存緩存和本地化緩存，數(shù)據(jù)進(jìn)行內(nèi)存緩存。在結(jié)構(gòu)組織方面，客戶端采用了樹形目錄的方式管理元數(shù)據(jù)緩存并通過使用紅黑樹和LRU淘汰策略來實(shí)現(xiàn)數(shù)據(jù)分片的隨機(jī)讀寫。在啟動(dòng)時(shí)，客戶端自動(dòng)加載本地元數(shù)據(jù)，在系統(tǒng)退出后，客戶端將所有內(nèi)存元數(shù)據(jù)進(jìn)行本地化存儲(chǔ)。
　　3．網(wǎng)絡(luò)通信模型。客戶端采用C++實(shí)現(xiàn)

4、了一套基于非阻塞的異步網(wǎng)絡(luò)通信框架來實(shí)現(xiàn)與服務(wù)器通信，并通過線程池來實(shí)現(xiàn)磁盤的異步讀寫功能。與內(nèi)核通信部分，客戶端采用C語言設(shè)計(jì)并實(shí)現(xiàn)該模塊所有基本數(shù)據(jù)結(jié)構(gòu)及業(yè)務(wù)邏輯。
　　4．提出了基于操作日志的方式來保證數(shù)據(jù)的同步。客戶端通過定時(shí)觸發(fā)機(jī)制向元數(shù)據(jù)服務(wù)器拉取并本地執(zhí)行操作日志的方式來達(dá)到數(shù)據(jù)的一致。
　　5．持久化存儲(chǔ)?？蛻舳颂岢隽艘粋€(gè)基于 B+樹的元數(shù)據(jù)持久化存儲(chǔ)模型來存儲(chǔ)內(nèi)存中的元數(shù)據(jù)。通過B+樹建立索引和追加寫策略，