數(shù)據(jù)網(wǎng)格QoS保障與資源優(yōu)化關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)格是一種先進(jìn)的信息技術(shù)基礎(chǔ)設(shè)施，目的是有效整合Internet上廣泛分布的各種計(jì)算資源、存儲(chǔ)資源、通信資源、信息資源等，向用戶提供虛擬、統(tǒng)一、透明的計(jì)算環(huán)境。數(shù)據(jù)網(wǎng)格作為網(wǎng)格計(jì)算領(lǐng)域的一個(gè)分支，已經(jīng)得到學(xué)術(shù)界的極大關(guān)注。數(shù)據(jù)網(wǎng)格是指廣域范圍內(nèi)，對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行分布式管理、分析及使用的一個(gè)綜合體系結(jié)構(gòu)。數(shù)據(jù)網(wǎng)格實(shí)現(xiàn)了安全、可靠和有效的數(shù)據(jù)傳輸、訪問(wèn)、存儲(chǔ)和副本管理等操作，并提供到不同存儲(chǔ)系統(tǒng)的統(tǒng)一的接口，從而使得數(shù)據(jù)密集型高性能計(jì)算

2、及科學(xué)研究成為可能。
　　Ian foster指出網(wǎng)格最基本的一個(gè)特征就是“提供非凡的服務(wù)質(zhì)量（QoS）”。為了保障數(shù)據(jù)網(wǎng)格具有較高的QoS，需要克服網(wǎng)絡(luò)以及網(wǎng)格節(jié)點(diǎn)的諸多不穩(wěn)定因素，而資源（能力）預(yù)留、副本部署、緩沖區(qū)機(jī)制、并行數(shù)據(jù)傳輸和數(shù)據(jù)存儲(chǔ)與恢復(fù)是解決這類問(wèn)題的主要手段和當(dāng)下研究的熱點(diǎn)問(wèn)題。海量數(shù)據(jù)存儲(chǔ)和傳輸導(dǎo)致大量網(wǎng)絡(luò)傳輸、存儲(chǔ)資源、節(jié)點(diǎn)資源的不必要浪費(fèi)，致使高峰時(shí)刻網(wǎng)格服務(wù)接納率的急劇降低，帶來(lái)整體QoS的下降。目前多

3、數(shù)研究更關(guān)注于從某方面提升服務(wù)質(zhì)量，而較少的考慮資源的優(yōu)化調(diào)度問(wèn)題，從而在保證QoS的同時(shí)一定程度上降低了網(wǎng)格系統(tǒng)整體資源的使用率。
　　本文從“保障QoS是基礎(chǔ)，優(yōu)化資源的使用是目標(biāo)”這一宗旨出發(fā)，深入研究了如何在保障數(shù)據(jù)網(wǎng)格QoS的同時(shí)對(duì)使用的資源進(jìn)行有效優(yōu)化的問(wèn)題。論文將數(shù)據(jù)網(wǎng)格最基本的功能（數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)傳輸）在服務(wù)級(jí)QoS層面分解為5個(gè)主要子服務(wù)（傳輸、存儲(chǔ)、緩存、節(jié)點(diǎn)選擇、資源預(yù)留），針對(duì)不同的子服務(wù)采用了特定手段達(dá)到

4、了QoS保障與資源優(yōu)化的雙重目標(biāo)。具體為：
　　(1)多副本部署可以提升數(shù)據(jù)的可靠性和數(shù)據(jù)服務(wù)帶寬，降低網(wǎng)絡(luò)負(fù)載，基于多副本的并行傳輸算法可以極大提升傳輸速度，保障數(shù)據(jù)服務(wù)的QoS，但是多個(gè)完整副本部署對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)傳輸?shù)南臉O大。本文首先提出了一個(gè)數(shù)據(jù)的分布式存儲(chǔ)模型，存儲(chǔ)模型在存儲(chǔ)空間使用上具有較大的優(yōu)勢(shì)（存儲(chǔ)優(yōu)化），同時(shí)具有P完整性，可以保證在任意P個(gè)節(jié)點(diǎn)失效時(shí)數(shù)據(jù)仍然完整；基于存儲(chǔ)模型給出了一并行傳輸調(diào)度器，在雙副本冗余

5、度時(shí)調(diào)度器可以適應(yīng)節(jié)點(diǎn)間速度的較大差異，以調(diào)度器為基礎(chǔ)給出了一個(gè)并行傳輸算法，配置合理參數(shù)，算法可以達(dá)到基于多個(gè)完全副本的并行傳輸速度。
　　(2)為了保障數(shù)據(jù)存儲(chǔ)的可靠性，基于并行傳輸?shù)膭?dòng)態(tài)數(shù)據(jù)恢復(fù)是數(shù)據(jù)網(wǎng)格應(yīng)具備的能力。在優(yōu)化使用存儲(chǔ)空間前提下，不但要保障數(shù)據(jù)存儲(chǔ)的基本QoS指標(biāo)：可靠性和可用性，同時(shí)還必須兼顧數(shù)據(jù)的易用性。本文基于分布式存儲(chǔ)模型，結(jié)合節(jié)點(diǎn)失效性、動(dòng)態(tài)恢復(fù)過(guò)程和數(shù)據(jù)交換中心策略，以本文提出的調(diào)度器、并行傳輸算法

6、并結(jié)合泊松分布定理，提出了一個(gè)動(dòng)態(tài)的數(shù)據(jù)恢復(fù)模型。數(shù)據(jù)恢復(fù)模型較雙副本存儲(chǔ)具有更低的數(shù)據(jù)失效概率，較糾刪碼策略具有更強(qiáng)的易用性。
　　(3)為了克服網(wǎng)絡(luò)的不穩(wěn)定性，數(shù)據(jù)緩存是網(wǎng)絡(luò)應(yīng)用較為常用的一個(gè)主要策略?？紤]數(shù)據(jù)的海量特性以及資源有限性，在數(shù)據(jù)緩存服務(wù)中需要優(yōu)化配置緩沖區(qū)大小，并應(yīng)考慮諸多因素，包括：數(shù)據(jù)源節(jié)點(diǎn)的失效性、參與服務(wù)的節(jié)點(diǎn)集合、各節(jié)點(diǎn)的傳輸速度、任務(wù)對(duì)數(shù)據(jù)失效時(shí)間的約束以及對(duì)整體失效的要求等。本文通過(guò)引入有限緩沖區(qū)模

7、型，從數(shù)據(jù)消耗者角度出發(fā)，以多副本存儲(chǔ)和并行傳輸模式為基礎(chǔ)，推導(dǎo)出一個(gè)服務(wù)失效模型，該模型有效表述了影響服務(wù)失效的各種參數(shù)間的量化關(guān)系，進(jìn)行了仿真實(shí)驗(yàn)，將模型理論值與實(shí)驗(yàn)值進(jìn)行了對(duì)比分析，取得了較好的結(jié)果，達(dá)到了緩沖區(qū)和服務(wù)節(jié)點(diǎn)的優(yōu)化配置，緩存服務(wù)QoS保障的目標(biāo)。
　　(4)基于多副本進(jìn)行并行數(shù)據(jù)傳輸?shù)囊粋€(gè)重要問(wèn)題是：在滿足服務(wù)可靠性、傳輸時(shí)間等QoS約束的前提下，如何能夠合理選擇節(jié)點(diǎn)資源。本文提出了兩個(gè)模型，模型能夠?qū)W(wǎng)格節(jié)點(diǎn)

8、的傳輸速度、可靠性、傳輸距離、網(wǎng)絡(luò)狀態(tài)、帶寬約束等因素進(jìn)行綜合決策，從而給出最優(yōu)的服務(wù)節(jié)點(diǎn)集合，使達(dá)到合理使用節(jié)點(diǎn)資源、降低網(wǎng)絡(luò)負(fù)載、降低服務(wù)請(qǐng)求的容忍度、提升高峰時(shí)網(wǎng)格系統(tǒng)的接納率與服務(wù)質(zhì)量并保證一次服務(wù)代價(jià)最小的多重優(yōu)化目標(biāo)。
　　(5)資源預(yù)留是保障數(shù)據(jù)網(wǎng)格任務(wù)順利完成的基本前提，預(yù)留請(qǐng)求的接納率直接影響到服務(wù)的QoS。資源能力從宏觀上更好的描述了資源的數(shù)量和使用情況，對(duì)于資源的預(yù)留服務(wù)提供了強(qiáng)有力的支撐。合理的調(diào)配資源能力

9、，可以降低資源能力碎片，提升高峰時(shí)刻網(wǎng)格系統(tǒng)的吞吐量和接納率，使達(dá)到優(yōu)化資源、保障QoS的雙重目標(biāo)。本文提出了基于并行加速比和四元法資源能力預(yù)留策略，與先前機(jī)制相比使網(wǎng)格系統(tǒng)可以根據(jù)預(yù)留請(qǐng)求的綜合信息進(jìn)行主動(dòng)決策，并對(duì)預(yù)留請(qǐng)求進(jìn)行一定的資源能力變換，進(jìn)一步優(yōu)化資源的使用，有效降低資源能力碎片，提升高峰時(shí)刻服務(wù)接納率。
　　個(gè)體服務(wù)QoS保障與資源優(yōu)化可以提升網(wǎng)格系統(tǒng)整體資源的利用率，從而可以在高峰時(shí)刻提升服務(wù)請(qǐng)求的接納率和個(gè)體服務(wù)