大數(shù)據(jù)技術(shù)在電力營銷系統(tǒng)中的應(yīng)用研究.pdf

1、隨著電力企業(yè)的快速發(fā)展，電網(wǎng)數(shù)據(jù)不斷積累，呈現(xiàn)出爆炸式增長的趨勢。怎樣從這些數(shù)據(jù)中挖掘出價值數(shù)據(jù)，已經(jīng)成為智能電網(wǎng)建設(shè)和電力企業(yè)發(fā)展的關(guān)鍵，而大數(shù)據(jù)相關(guān)技術(shù)的飛速發(fā)展為電網(wǎng)數(shù)據(jù)帶來新機(jī)遇。在當(dāng)下主流的大數(shù)據(jù)技術(shù)中，相比Hadoop平臺，Spark平臺更加優(yōu)異的迭代工作負(fù)載性能、RDD數(shù)據(jù)集的高速計算能力以及 HDFS的強(qiáng)大存儲能力在海量的電力數(shù)據(jù)挖掘中都表現(xiàn)出極大的優(yōu)勢。
　　本文利用Spark平臺與關(guān)聯(lián)規(guī)則挖掘技術(shù)結(jié)合的優(yōu)勢，根

2、據(jù)電力企業(yè)對數(shù)據(jù)分析的實際需求，研究分析了 Z-score標(biāo)準(zhǔn)化和 FCM聚類算法，結(jié)合兩者設(shè)計出電力數(shù)據(jù)預(yù)處理流程，驗證了數(shù)據(jù)預(yù)處理的有效性，并運(yùn)用稀疏矩陣和 FCM聚類算法改進(jìn)了 FFP-growth算法，應(yīng)用于 Spark平臺下的電力營銷系統(tǒng)中。本文主要完成了以下三方面工作：第一，研究實際處理電網(wǎng)數(shù)據(jù)中遇到的問題，并針對這些問題提出解決方法，根據(jù) Z-score標(biāo)準(zhǔn)化和 FCM聚類算法的結(jié)合提出大數(shù)據(jù)預(yù)處理的新流程；第二，研究了F

3、P-growth關(guān)聯(lián)規(guī)則挖掘算法，根據(jù)傳統(tǒng)FP-Growth算法的不足對其進(jìn)行改進(jìn)，引入稀疏矩陣存儲減少一次數(shù)據(jù)庫掃描得到頻繁項集，節(jié)省了數(shù)據(jù)庫掃描時間，并設(shè)計了在Spark平臺下改進(jìn)的FFP-growth算法并行化模型，對數(shù)據(jù)進(jìn)行二次分類，避免單個事務(wù)集過大的問題；第三，搭建 Spark平臺，設(shè)計并實現(xiàn)電力營銷系統(tǒng)，將數(shù)據(jù)預(yù)處理技術(shù)和改進(jìn)的FFP-Growth關(guān)聯(lián)規(guī)則挖掘技術(shù)應(yīng)用到電力營銷數(shù)據(jù)分析系統(tǒng)中，實例驗證了重新設(shè)計的數(shù)據(jù)預(yù)處理