基于規(guī)則的交互式數(shù)據(jù)清洗技術(shù).pdf

1、針對現(xiàn)有數(shù)據(jù)清洗工具存在的交互性差、不易擴展和元數(shù)據(jù)管理不完善等問題，提出了一種新的基于規(guī)則的交互式數(shù)據(jù)清洗體系結(jié)構(gòu)，解決了這些不足，提高了數(shù)據(jù)清洗的效率。并給出了其中若干關(guān)鍵技術(shù)的解決方案。 采用形式化語言表示清洗規(guī)則和領(lǐng)域知識，為實現(xiàn)自動化數(shù)據(jù)清洗奠定了基礎(chǔ)。提出了一種新的交互式規(guī)則定義技術(shù)，即在樣本數(shù)據(jù)上迭代定義清洗規(guī)則，既保證了所定義規(guī)則的質(zhì)量，也提高了用戶定義清洗規(guī)則的速度。并且闡述了清洗規(guī)則的實現(xiàn)方法。 將數(shù)

2、據(jù)清洗與已有的SEUETL工具相結(jié)合，使它們的轉(zhuǎn)換功能和清洗功能相互補，既有強大的轉(zhuǎn)換功能，也有很好的清洗能力。以往數(shù)據(jù)分析和轉(zhuǎn)換清洗采用不同的軟件，是兩個獨立的步驟，導致數(shù)據(jù)分析和轉(zhuǎn)換清洗脫鉤，給用戶帶來很多的不便。本框架將數(shù)據(jù)分析功能集成到數(shù)據(jù)清洗中，增強了清洗工具的功能。 對數(shù)據(jù)分析和相似重復記錄處理這兩個模塊，均采用基于專家系統(tǒng)的處理框架，以方便業(yè)務(wù)規(guī)則的表示和應用，并給出各自的推理算法。并使用改進的SNM算法作為相似重