基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)。尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實(shí)世界的迫切需求。Hadoop和Spark是目前最流行的分布式計(jì)算框架，隨著相關(guān)技術(shù)的逐漸成熟，現(xiàn)在很多公司都在研究學(xué)習(xí)，以滿足自身業(yè)務(wù)的需求和提高產(chǎn)品的品質(zhì)。在此背景下，某公司提出基于Spark來(lái)開(kāi)發(fā)一個(gè)用于數(shù)據(jù)處理分析的系統(tǒng)，即ATL-DPAS(Data Processing and

2、Analysis System Of AcnTechnology Lab)。該系統(tǒng)不僅能夠兼容Hadoop集群，而且能夠利用現(xiàn)有的計(jì)算資源靈活高效的處理海量數(shù)據(jù)、進(jìn)行交互式實(shí)時(shí)查詢、進(jìn)行可視化智能分析。
　　根據(jù)不同的功能需求，系統(tǒng)劃分為數(shù)據(jù)處理模塊、數(shù)據(jù)查詢模塊、數(shù)據(jù)建模模塊。本人主要負(fù)責(zé)數(shù)據(jù)處理模塊的設(shè)計(jì)與開(kāi)發(fā)，包括設(shè)計(jì)數(shù)據(jù)處理模塊的流程、設(shè)計(jì)與實(shí)現(xiàn)數(shù)據(jù)清洗合并算法、實(shí)現(xiàn)各種數(shù)據(jù)處理方式的接口等。本論文中，首先對(duì)ATL數(shù)據(jù)處理

3、分析系統(tǒng)的研究現(xiàn)狀進(jìn)行了綜述，簡(jiǎn)單介紹了相關(guān)理論與技術(shù);其次從功能性需求和非功能性需求兩方面對(duì)系統(tǒng)需求進(jìn)行了分析，從中梳理出系統(tǒng)目標(biāo)，確定了系統(tǒng)總體設(shè)計(jì)架構(gòu)，也對(duì)系統(tǒng)數(shù)據(jù)庫(kù)進(jìn)行了詳細(xì)設(shè)計(jì);再次，針對(duì)數(shù)據(jù)處理模塊中HDFS列表、數(shù)據(jù)添加、數(shù)據(jù)清洗、數(shù)據(jù)合并、數(shù)據(jù)類型管理五個(gè)子模塊進(jìn)行了流程設(shè)計(jì)、代碼實(shí)現(xiàn)與界面展示;最后介紹了系統(tǒng)部署的過(guò)程和系統(tǒng)測(cè)試的方法，對(duì)數(shù)據(jù)處理模塊進(jìn)行了詳細(xì)的功能測(cè)試和性能測(cè)試，并對(duì)測(cè)試結(jié)果進(jìn)行分析評(píng)估，從而驗(yàn)證了S