數(shù)據(jù)分析與可視化

1、數(shù)據(jù)分析與可視化數(shù)據(jù)分析與可視化1.1.什么是數(shù)據(jù)分析？什么是數(shù)據(jù)分析？數(shù)據(jù)分析是基于商業(yè)目的，有目的的進(jìn)行收集、整理、加工和分析數(shù)據(jù)，提煉有價(jià)信息的一個(gè)過程。其過程概括起來主要包括：明確分析目的與框架、數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)和撰寫報(bào)告等6個(gè)階段。1、明確分析目的與框架一個(gè)分析項(xiàng)目，你的數(shù)據(jù)對(duì)象是誰？商業(yè)目的是什么？要解決什么業(yè)務(wù)問題？數(shù)據(jù)分析師對(duì)這些都要了然于心?；谏虡I(yè)的理解，整理分析框架和分析思路。例如，減少新客戶

2、的流失、優(yōu)化活動(dòng)效果、提高客戶響應(yīng)率等等。不同的項(xiàng)目對(duì)數(shù)據(jù)的要求，使用的分析手段也是不一樣的。2、數(shù)據(jù)收集數(shù)據(jù)收集是按照確定的數(shù)據(jù)分析和框架內(nèi)容，有目的的收集、整合相關(guān)數(shù)據(jù)的一個(gè)過程，它是數(shù)據(jù)分析的一個(gè)基礎(chǔ)。3、數(shù)據(jù)處理數(shù)據(jù)處理是指對(duì)收集到的數(shù)據(jù)進(jìn)行加工、整理，以便開展數(shù)據(jù)分析，它是數(shù)據(jù)分析前必不可少的階段。這個(gè)過程是數(shù)據(jù)分析整個(gè)過程中最占據(jù)時(shí)間的，也在一定程度上取決于數(shù)據(jù)倉庫的搭建和數(shù)據(jù)質(zhì)量的保證。數(shù)據(jù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化等

3、處理方法。4、數(shù)據(jù)分析數(shù)據(jù)分析是指通過分析手段、方法和技巧對(duì)準(zhǔn)備好的數(shù)據(jù)進(jìn)行探索、分析，從中發(fā)現(xiàn)因果關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律，為商業(yè)目提供決策參考。到了這個(gè)階段，要能駕馭數(shù)據(jù)、開展數(shù)據(jù)分析，就要涉及到工具和方法的使用。其一要熟悉常規(guī)數(shù)據(jù)分析方法，最基本的要了解例如方差、回歸、因子、聚類、分類、時(shí)間序列等多元和數(shù)據(jù)分析方法的原理、使用范圍、優(yōu)缺點(diǎn)和結(jié)果的解釋；其二是熟悉11種數(shù)據(jù)分析工具，Excel是最常見，一般的數(shù)據(jù)分析我們可以通過Ex

4、cel完成，后而要熟悉一個(gè)專業(yè)的分析軟件，如數(shù)據(jù)分析工具SPSSSASRMatlab等，便于進(jìn)行一些專業(yè)的統(tǒng)計(jì)分析、數(shù)據(jù)建模等。中，人們不必事先給出一個(gè)分類的標(biāo)準(zhǔn)，聚類分析能夠從樣本數(shù)據(jù)出發(fā)，自動(dòng)進(jìn)行分類。聚類分析所使用方法的不同，常常會(huì)得到不同的結(jié)論。不同研究者對(duì)于同一組數(shù)據(jù)進(jìn)行聚類分析，所得到的聚類數(shù)未必一致。2、因子分析（、因子分析（FactFactAnalysisAnalysis）因子分析是指研究從變量群中提取共性因子的統(tǒng)計(jì)技術(shù)

5、。因子分析就是從大量的數(shù)據(jù)中尋找內(nèi)在的聯(lián)系，減少?zèng)Q策的困難。因子分析的方法約有10多種，如重心法、影像分析法，最大似然解、最小平方法、阿爾發(fā)抽因法、拉奧典型抽因法等等。這些方法本質(zhì)上大都屬近似方法，是以相關(guān)系數(shù)矩陣為基礎(chǔ)的，所不同的是相關(guān)系數(shù)矩陣對(duì)角線上的值，采用不同的共同性□2估值。在社會(huì)學(xué)研究中，因子分析常采用以主成分分析為基礎(chǔ)的反覆法。3、相關(guān)分析（、相關(guān)分析（CrelationCrelationAnalysisAnalysis）

6、相關(guān)分析（crelationanalysis），相關(guān)分析是研究現(xiàn)象之間是否存在某種依存關(guān)系，并對(duì)具體有依存關(guān)系的現(xiàn)象探討其相關(guān)方向以及相關(guān)程度。相關(guān)關(guān)系是一種非確定性的關(guān)系，例如，以X和Y分別記一個(gè)人的身高和體重，或分別記每公頃施肥量與每公頃小麥產(chǎn)量，則X與Y顯然有關(guān)系，而又沒有確切到可由其中的一個(gè)去精確地決定另一個(gè)的程度，這就是相關(guān)關(guān)系。4、對(duì)應(yīng)分析（、對(duì)應(yīng)分析（CrespondenceCrespondenceAnalysisAnal

7、ysis）對(duì)應(yīng)分析(Crespondenceanalysis)也稱關(guān)聯(lián)分析、RQ型因子分析，通過分析由定性變量構(gòu)成的交互匯總表來揭示變量間的聯(lián)系。可以揭示同一變量的各個(gè)類別之間的差異，以及不同變量各個(gè)類別之間的對(duì)應(yīng)關(guān)系。對(duì)應(yīng)分析的基本思想是將一個(gè)聯(lián)列表的行和列中各元素的比例結(jié)構(gòu)以點(diǎn)的形式在較低維的空間中表示出來。5、回歸分析、回歸分析研究一個(gè)隨機(jī)變量Y對(duì)另一個(gè)(X)或一組(X1，X2，…，Xk)變量的相依關(guān)系的統(tǒng)計(jì)分析方法?；貧w分析（r

8、egressionanalysis)是確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。運(yùn)用十分廣泛，回歸分析按照涉及的自變量的多少，可分為一元回歸分析和多元回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。6、方差分析、方差分析(ANOVAAnalysis(ANOVAAnalysisofofVariance)Variance)又稱“變異數(shù)分析”或“F檢驗(yàn)”，是R.A.Fisher發(fā)明的，用于兩