基于語義關(guān)聯(lián)的重復(fù)數(shù)據(jù)清理技術(shù)研究.pdf

1、重復(fù)數(shù)據(jù)的出現(xiàn)會給數(shù)據(jù)質(zhì)量帶來極大的困擾，嚴(yán)重影響著數(shù)據(jù)處理和分析的效率，如何對重復(fù)數(shù)據(jù)進(jìn)行清理是數(shù)據(jù)處理研究的重要問題。然而，隨著數(shù)據(jù)的急劇增長，數(shù)據(jù)源的多樣性，同名、多詞一義等歧義實體的出現(xiàn)，關(guān)聯(lián)數(shù)據(jù)的大量涌現(xiàn)給現(xiàn)有的重復(fù)數(shù)據(jù)清理方法帶來了挑戰(zhàn)?，F(xiàn)有的重復(fù)數(shù)據(jù)清理方法存在著檢測結(jié)果不全面，對歧義實體的檢測精確度不高，檢測時間花費長，計算復(fù)雜性高等問題。因此，重復(fù)數(shù)據(jù)的清理研究需從重復(fù)數(shù)據(jù)檢測結(jié)果的全面、準(zhǔn)確、高效等方面展開。這三個方

2、面在一定程度上相互制約，一味追求高的查全率會影響查準(zhǔn)率，一味追求高效也會對查全查準(zhǔn)產(chǎn)生影響。如何使這三個方面達(dá)到一個平衡點，是重復(fù)數(shù)據(jù)檢測研究的重點?；谡Z義關(guān)聯(lián)的重復(fù)數(shù)據(jù)清理，是通過數(shù)據(jù)之間的語義關(guān)系來檢測數(shù)據(jù)之間的重復(fù)性、區(qū)分模糊信息、過濾掉不相干的數(shù)據(jù)，解決去重問題中大規(guī)模數(shù)據(jù)比較帶來檢測效率問題。本研究群主要內(nèi)容包括：
　　 ⑴針對數(shù)據(jù)源的多樣性、數(shù)據(jù)記錄之間的差異對重復(fù)數(shù)據(jù)檢測的查全的影響，提出一種基于長度過濾動態(tài)權(quán)值

3、的數(shù)據(jù)比較方法。該方法首先針對重復(fù)數(shù)據(jù)檢測的兩兩數(shù)據(jù)對的比較的計算量大的問題，在數(shù)據(jù)對比較前，根據(jù)數(shù)據(jù)對的長度差，過濾掉不可能是重復(fù)數(shù)據(jù)的數(shù)據(jù)對。減少參加數(shù)據(jù)比對的數(shù)據(jù)對的個數(shù)，以提高檢測的效率。然后針對不同數(shù)據(jù)源之間數(shù)據(jù)記錄的差異影響檢測的查全問題，動態(tài)的為記錄各屬性賦權(quán)值，減少記錄之間因?qū)傩匀笔ο嗨贫扔嬎愕挠绊懀岣咧貜?fù)檢測查全率。最后對現(xiàn)有的檢測方法對查全的問題進(jìn)行了改進(jìn)，提出一種基于動態(tài)滑動窗口的數(shù)據(jù)比較策略。該策略以動態(tài)的滑

4、動窗口來控制數(shù)據(jù)與其它數(shù)據(jù)比較，進(jìn)一步提高重復(fù)數(shù)據(jù)的查全率。該方法平均查全率，查全率和查準(zhǔn)率調(diào)合平均值，均高于現(xiàn)有的檢測方法，在提高查全率的同時，沒有降低檢測的查準(zhǔn)率。
　　 ⑵針對重名、多詞一義等歧義實體給重復(fù)數(shù)據(jù)檢測帶來的影響，提高重復(fù)數(shù)據(jù)清理的準(zhǔn)確性的問題，提出一種基于語義關(guān)聯(lián)的實體識別方法。該方法跳出實體數(shù)據(jù)本身的比較，通過分析實體之間不同類別的語義關(guān)聯(lián)與其作用，并利用實體之間的兩種類別的語義關(guān)聯(lián)—相似語義關(guān)聯(lián)和關(guān)聯(lián)語義

5、關(guān)聯(lián)，將歧義實體進(jìn)行聚類和合并處理，以達(dá)到消除實體歧義模糊問題的目的。
　　 ⑶針對數(shù)據(jù)量的急劇增加影響重復(fù)數(shù)據(jù)檢測效率的問題，為了更進(jìn)一步的提高在大規(guī)模異構(gòu)數(shù)據(jù)整合中而產(chǎn)生的重復(fù)數(shù)據(jù)的檢測的效率，提出一種“最可能重復(fù)”的數(shù)據(jù)集劃分思想，該思想將最可能是重復(fù)的數(shù)據(jù)劃分在一個部分里，以減小重復(fù)數(shù)據(jù)檢測的范圍?；诖怂枷虢Y(jié)合數(shù)據(jù)的語義鏈網(wǎng)絡(luò)提出一種基于語義關(guān)聯(lián)的數(shù)據(jù)清理策略。該策略利用數(shù)據(jù)之間的語義鏈關(guān)系的分析和推理，將最可能是重復(fù)

6、數(shù)據(jù)的數(shù)據(jù)聚類在同一部分中，以達(dá)到減小數(shù)據(jù)比較次數(shù)和提高檢測精度，提高檢測效率的目的。該方法在提高檢測效率的同時，查全查準(zhǔn)率的調(diào)合平均值高于現(xiàn)有的重復(fù)數(shù)據(jù)檢測方法。提高效率的同時，沒有對檢測的查全查準(zhǔn)率帶來影響。
　　 ⑷隨著語義網(wǎng)技術(shù)的發(fā)展，關(guān)聯(lián)圖數(shù)據(jù)的大量出現(xiàn)也帶來了新的挑戰(zhàn)。針對關(guān)聯(lián)數(shù)據(jù)中存在的重復(fù)數(shù)據(jù)清理的問題，提出一種K-半徑子圖比較方法。該方法針對關(guān)聯(lián)數(shù)據(jù)間的錯綜復(fù)雜的關(guān)系，提出一種關(guān)聯(lián)層次圖模型。該模型可以將關(guān)聯(lián)數(shù)