基于流式處理技術的日志分析系統(tǒng)的設計與實現(xiàn).pdf

1、近幾年，隨著移動互聯(lián)網(wǎng)的快速發(fā)展，海量日志數(shù)據(jù)的產(chǎn)生變得越來越容易。同時支撐互聯(lián)網(wǎng)公司的分布式系統(tǒng)復雜性越來越高，各種服務通常都是部署在大規(guī)模分布式的集群上。而這些應用服務都是一個個獨立的軟件模塊，這些軟件模塊可能是由多個不同的團隊開發(fā)的，使用的編程語言都是不盡相同的，部署分布在幾百甚至是幾千臺服務器，橫跨多個數(shù)據(jù)中心機房。一旦其中一個或多個服務出現(xiàn)問題，在運行環(huán)境中進行問題追蹤的困難程度可想而知，需要跨部門溝通與協(xié)調(diào)，甚至還要在多個軟

2、件模塊服務的各個環(huán)節(jié)去排查問題。在系統(tǒng)運行中出現(xiàn)問題需要在短時間內(nèi)定位問題，并解決問題。為了解決上述問題，就需要可以幫助理解與分析系統(tǒng)行為與性能的工具，國內(nèi)外各大公司都在做APM(Application Performance Monitor)相關的系統(tǒng)，如國外的New Relic、Splunk,國內(nèi)的淘寶鷹眼、大眾點評的CAT等。本文就是基于上面的問題來開發(fā)實現(xiàn)一套類似的APM系統(tǒng)。
　　本文采用準實時流框架Spark Stre

3、aming進行各維度的日志分析計算，將計算結果通過時間序列存儲數(shù)據(jù)庫OpenTSDB寫入Hbase，最終將數(shù)據(jù)以各種圖報表形式展現(xiàn)。通過這些數(shù)據(jù)，應用開發(fā)以及運維監(jiān)控人員可以查看各自關注的數(shù)據(jù)以及快速定位問題，提高工作效率，將更多經(jīng)歷放在產(chǎn)品業(yè)務上。也給管理者的決策提供依據(jù)。
　　本文的研究工作主要有以下幾個方面：
　　1.日志分析應用系統(tǒng)的架構與設計。本文對應用日志處理系統(tǒng)進行了需求分析，分數(shù)據(jù)流處理層、數(shù)據(jù)存儲層、API

4、服務層，對涉及的技術方案進行了選擇、分析到設計，包括流式處理的計算框架、時間序列化的存儲中間件、方便有效讀取數(shù)據(jù)的API以及Redis緩存的使用等；設計的應用日志分析系統(tǒng)能夠高效快速的處理數(shù)據(jù)，更關注系統(tǒng)的可用性、及時性以及擴展性。
　　2.對restful以及gateway類型的url數(shù)據(jù)的清洗。本文應用日志有些域包含大量的url，這些url中也包括一些無用的、用戶不關心的以及惡意訪問的，若這些都保存起來，會給后面的查詢效率帶來

5、一些影響，對這些url的清洗很有必要，所以需要進行一些歸類過濾處理。
　　3.日志分析應用系統(tǒng)的實現(xiàn)及驗證。本文采用流式技術完成了數(shù)據(jù)的計算，時間序列化數(shù)據(jù)庫進行存儲，友好的Restful API進行數(shù)據(jù)讀取，通過前端展現(xiàn)技術進行圖表展示。
　　系統(tǒng)已在互聯(lián)網(wǎng)公司運行使用半年多。驗證了日志處理應用系統(tǒng)在日均處理幾十TB的大批量數(shù)據(jù)流下從計算到展示的流暢性、數(shù)據(jù)準確性，在大促高峰期經(jīng)受住了考驗。系統(tǒng)在1分鐘內(nèi)顯示各個應用的運行