基于大規(guī)模并行處理的R語言運行時技術(shù)研究.pdf

1、大數(shù)據(jù)背景下，行業(yè)應(yīng)用數(shù)據(jù)呈爆炸性增長，統(tǒng)計分析的數(shù)據(jù)規(guī)模和處理復(fù)雜度不斷增加，傳統(tǒng)意義上的計算技術(shù)和信息系統(tǒng)的處理能力遠遠不能滿足用戶要求。隨著高性能計算平臺的不斷發(fā)展，其在統(tǒng)計分析領(lǐng)域的應(yīng)用開始廣泛受到相關(guān)領(lǐng)域研究人員的關(guān)注，眾多結(jié)合大數(shù)據(jù)平臺的統(tǒng)計分析方法、從編譯層面對編程語言進行優(yōu)化的方法逐漸成為熱門項目。
　　作為深受統(tǒng)計學(xué)家追捧的編程工具 R語言，和所有的解釋型語言一樣，存在著嚴重的性能弊端，需要利用并行方法提高代碼執(zhí)

2、行性能。然而并行化程序設(shè)計的過程遠比傳統(tǒng)的串行化算法復(fù)雜的多，不僅需要數(shù)據(jù)分析程序員進行功能性的代碼實現(xiàn)，還需要掌握很多分布式系統(tǒng)背景知識和并行程序設(shè)計技巧。上層數(shù)據(jù)分析和算法設(shè)計工作與底層復(fù)雜的并行化和分布式編程調(diào)試存在一個難以逾越的鴻溝，急需一種能夠縮短普通程序員和常規(guī)程序設(shè)計方法距離的架構(gòu)。
　　首先，文章分析了R語言的特性。由于R語言是一門新興的解釋型統(tǒng)計學(xué)語言，沒有系統(tǒng)的同類文獻可供參考，因此本文先從源代碼層面對 R語言

3、目前的實現(xiàn)方式進行了剖析，并著重從 R語言的類型系統(tǒng)、向量化特性、函數(shù)式語言特性及與 C語言結(jié)合等方面進行了系統(tǒng)性整理。然后對其運行時特性進行探討，對比解釋型語言和編譯型語言在運行時的顯著區(qū)別，并以目前的GNU R作為研究對象，構(gòu)建了其運行時的執(zhí)行框架，明確運行時階段要處理的事務(wù)，如內(nèi)存分配、數(shù)據(jù)通信等，為接下來的分布式并行系統(tǒng)運行時設(shè)計及優(yōu)化奠定理論基礎(chǔ)。
　　其次，本文提出了基于R語言的分布式并行編程系統(tǒng)Rdp的設(shè)計思路。以提

4、供一系列的支持 R語言中常規(guī)向量化操作的并行編程接口作為系統(tǒng)的編程模型，采用消息傳遞接口（MPI）編程規(guī)范作為并行系統(tǒng)架構(gòu)的主要實現(xiàn)方式，自頂向下分并行應(yīng)用、并行接口、運行時環(huán)境（RTE）、操作系統(tǒng)及底層硬件幾部分設(shè)計了基于R語言的并行運行時架構(gòu)，并以RTE中的任務(wù)調(diào)度和資源分配任務(wù)為對象，對系統(tǒng)功能及API功能進行了設(shè)計。
　　接下來，文章對系統(tǒng)的設(shè)計思路分層進行了實現(xiàn)與優(yōu)化。按照底層系統(tǒng)環(huán)境交互、中間層調(diào)度工作節(jié)點及高層提供簡

5、易應(yīng)用編程接口這三層抽象出并行編程的API，并使用R中的C語言接口以高效的編程語言實現(xiàn)MPI的任務(wù)調(diào)度和分配。不同層次編程接口功能的劃分，有利于用戶或者開發(fā)人員根據(jù)使用需求自由選擇編程粒度實現(xiàn)并行，同時以R語言中使用最為廣泛的泛函apply函數(shù)家族作為主要優(yōu)化對象，能夠在盡量不改變用戶編程習慣的前提下提供一套可以在高性能計算平臺上的通用接口。
　　最后是文章的實驗測試部分。首先，將Rdp中主要函數(shù)接口的性能與snow包和paral