組學(xué)大數(shù)據(jù)環(huán)境下的基因信息并行處理與分析方法研究.pdf

1、隨著下一代測(cè)序技術(shù)的不斷發(fā)展和逐漸成熟，高通量測(cè)序已經(jīng)成為生物、醫(yī)學(xué)研究中的常規(guī)工具，也即將在農(nóng)業(yè)和醫(yī)療等行業(yè)中得到廣泛應(yīng)用，促生了精準(zhǔn)醫(yī)療和分子育種等新興產(chǎn)業(yè)。不同以往的低通量技術(shù)，高通量測(cè)序技術(shù)所產(chǎn)生的多種組學(xué)（全基因組、全外顯子組、轉(zhuǎn)錄組、宏基因組等）數(shù)據(jù)具有通量高、數(shù)據(jù)量大、復(fù)雜異質(zhì)等特點(diǎn)，所涉及的處理與分析步驟多且繁瑣，對(duì)數(shù)據(jù)處理的軟、硬件都提出了較高的要求。如何快速、高效處理和分析高通量測(cè)序數(shù)據(jù)成為高通量測(cè)序技術(shù)廣泛應(yīng)用的瓶

2、頸。比如，當(dāng)前受到廣泛關(guān)注的精準(zhǔn)醫(yī)療主要依賴于基因測(cè)序技術(shù)，如何高效處理和分析海量的病人的基因測(cè)序數(shù)據(jù)，從中獲取個(gè)性化的癌變驅(qū)動(dòng)信息成為實(shí)現(xiàn)腫瘤精準(zhǔn)診療的關(guān)鍵和難點(diǎn)問題。
　　基因測(cè)序技術(shù)從第一代測(cè)序技術(shù)發(fā)展到當(dāng)前最新的第三代測(cè)序技術(shù)，其測(cè)序通量爆炸性增長。第一代測(cè)序技術(shù)的通量僅僅只有0.2MB/run，而以Illumina為代表的第二代測(cè)序技術(shù)其通量能達(dá)到1500GB/run左右，第三代測(cè)序技術(shù)的通量更是達(dá)到了30-400bp/

3、s。測(cè)序技術(shù)的進(jìn)步為相關(guān)的生物、醫(yī)學(xué)研究提供了有力的支持，但是如何解決海量的測(cè)序數(shù)據(jù)成為急需解決的學(xué)術(shù)和行業(yè)難題。
　　為了解決上述問題，本文基于Hadoop系統(tǒng)設(shè)計(jì)并實(shí)現(xiàn)了一套高通量測(cè)序數(shù)據(jù)自動(dòng)化并行處理系統(tǒng)(SeqReduce)，其主要的目的是利用計(jì)算機(jī)集群，為海量的測(cè)序數(shù)據(jù)分析提供一款高效、穩(wěn)定、低廉的自動(dòng)化處理工具。該系統(tǒng)的核心設(shè)計(jì)思想是通過MapReduce并行運(yùn)算框架對(duì)相關(guān)測(cè)序數(shù)據(jù)進(jìn)行分割、對(duì)比、信息查詢，最后輸出突變