基于Map-Join-Reduce預(yù)處理的外觀專利圖像檢索方法.pdf

1、外觀專利圖片包含著豐富的視覺(jué)信息，但是由于數(shù)量巨大，檢索范圍很大，若只靠人工識(shí)別，工作量非常大而且效率很低。
　　 然而，圖像檢索是數(shù)據(jù)密集型的計(jì)算過(guò)程，而在檢索過(guò)程中將消耗大量CPU的資源，所以，系統(tǒng)引入了Hadoop框架的這一種分布式計(jì)算模型，經(jīng)過(guò)實(shí)踐，的確比原有的B/S單節(jié)點(diǎn)架構(gòu)的圖像檢索系統(tǒng)提高了檢索效率，當(dāng)中的把圖像檢索技術(shù)應(yīng)用于MapReduce并行計(jì)算框架也解決了數(shù)據(jù)量快速增長(zhǎng)導(dǎo)致增加系統(tǒng)負(fù)載而降低系統(tǒng)的實(shí)時(shí)性和并

2、發(fā)性能差、不能處理大規(guī)模的數(shù)據(jù)等這些問(wèn)題。
　　 MapReduce在處理多重?cái)?shù)據(jù)集上，不能實(shí)現(xiàn)一次聚合所有數(shù)據(jù)集，每個(gè)MapReduce的中間結(jié)果都要作檢查和shuffle操作來(lái)避免產(chǎn)生錯(cuò)誤，系統(tǒng)實(shí)時(shí)性遭遇到瓶頸。Map－Join－Reduce這一擴(kuò)展式的編程模型預(yù)處理方法可一次性地運(yùn)用在多重?cái)?shù)據(jù)集中，簡(jiǎn)化了數(shù)據(jù)分析任務(wù)，加速檢索速度。Map－Join-Reduce是對(duì)MapReduce的一個(gè)擴(kuò)展式編程模型，適用于多個(gè)數(shù)據(jù)集的

3、混合運(yùn)算處理，而且Map-Join-Reduce和MapReduce它們可以隨意進(jìn)行輸入輸出鏈?zhǔn)竭B接處理。該系統(tǒng)把主要的圖像特征數(shù)據(jù)和著錄信息數(shù)據(jù)使用Map-Join-Reduce作混合分布式處理。由于這兩個(gè)數(shù)據(jù)集有一定的關(guān)聯(lián)性，使用Map-Join-Reduce作混合分布式預(yù)處理，能夠簡(jiǎn)化數(shù)據(jù)量，壓縮搜索量，從而提高檢索的效率。Map-Join-Reduce首先把兩個(gè)數(shù)據(jù)表中擁有某一個(gè)著錄信息的記錄條目使用Map任務(wù)把它們都找出來(lái)，然