面向MapReduce數(shù)據(jù)本地化的調(diào)度方法研究.pdf

1、大數(shù)據(jù)時(shí)代的來臨使得云計(jì)算成為如今最為炙手可熱的IT技術(shù)。目前，云計(jì)算技術(shù)是IT企業(yè)的基石，無論是電腦互聯(lián)網(wǎng)，還是智能手機(jī)、GPS等移動(dòng)終端，其發(fā)展趨勢(shì)都是與云計(jì)算相結(jié)合。MapReduce的出現(xiàn)將云計(jì)算技術(shù)的發(fā)展帶入一個(gè)新的階段，對(duì)學(xué)術(shù)界和產(chǎn)業(yè)界都產(chǎn)生了深遠(yuǎn)的影響。
　　MapReduce是一個(gè)用于大規(guī)模數(shù)據(jù)處理的計(jì)算框架。數(shù)據(jù)本地化是MapReduce設(shè)計(jì)時(shí)所遵循的重要原則，也是MapReduce進(jìn)行任務(wù)調(diào)度的重要目的。本文主

2、要以數(shù)據(jù)本地化為目的研究MapReduce的調(diào)度策略，以提高系統(tǒng)的性能。
　　針對(duì)MapReduce集群存在大量非本地任務(wù)的問題，本文對(duì)MapReduce的任務(wù)調(diào)度機(jī)制進(jìn)行研究，介紹了MapReduce中非本地任務(wù)選擇算法的局限性，并提出了一種基于節(jié)點(diǎn)負(fù)載的任務(wù)調(diào)度方法。本文通過對(duì)節(jié)點(diǎn)的負(fù)載情況進(jìn)行評(píng)價(jià)，在作業(yè)執(zhí)行的過程中根據(jù)節(jié)點(diǎn)負(fù)載變化情況進(jìn)行任務(wù)調(diào)度，使節(jié)點(diǎn)間的負(fù)載趨于均衡。實(shí)驗(yàn)表明，該方法能夠顯著降低非本地任務(wù)的數(shù)量，從而降

3、低數(shù)據(jù)的遷移量，提高系統(tǒng)的性能。
　　針對(duì)MapReduce集群中非本地任務(wù)執(zhí)行時(shí)間較長(zhǎng)的問題，本文對(duì)MapReduce的任務(wù)執(zhí)行流程進(jìn)行研究，分析非本地任務(wù)降低系統(tǒng)效率的原因，并提出了一種基于重疊調(diào)度機(jī)制的數(shù)據(jù)預(yù)取技術(shù)。本文通過為非本地任務(wù)引入“預(yù)調(diào)度”狀態(tài)，使任務(wù)執(zhí)行的數(shù)據(jù)讀取和數(shù)據(jù)處理兩個(gè)階段重疊執(zhí)行，從而隱藏了數(shù)據(jù)遠(yuǎn)程訪問開銷。實(shí)驗(yàn)表明，本方法能夠明顯縮短非本地任務(wù)的執(zhí)行時(shí)間，提高系統(tǒng)的資源利用率。
　　針對(duì)在Map