蘋果近紅外光譜數(shù)據(jù)庫(kù)系統(tǒng)關(guān)鍵算法研究及原型系統(tǒng)開發(fā).pdf

1、近紅外（Near-infrared，NIR）光譜的信息量豐富，圖譜穩(wěn)定性高且容易采集，其NIR漫反射分析不需要對(duì)樣品做任何化學(xué)處理，因此NIR光譜分析技術(shù)具有快速、無損和綠色的特點(diǎn)。計(jì)算機(jī)技術(shù)的廣泛應(yīng)用和化學(xué)計(jì)量學(xué)的不斷發(fā)展促使NIR光譜分析方法在諸多領(lǐng)域倍受青睞。但是，建立性能優(yōu)良的NIR模型必須同時(shí)具備:規(guī)范、合理的光譜采集標(biāo)準(zhǔn)，性能穩(wěn)定、精度符合要求的光譜儀，豐富的樣品資源，準(zhǔn)確測(cè)量樣品成分濃度的技術(shù)以及具有豐富經(jīng)驗(yàn)的建模人員等條

2、件。對(duì)于普通單位而言，很難同時(shí)具備以上條件;另一方面，具備以上條件的單位所取得的NIR光譜分析成果受限于現(xiàn)有光譜數(shù)據(jù)管理方法而難以大范圍應(yīng)用。因此，為了推廣NIR光譜分析技術(shù)的應(yīng)用范圍和共享NIR光譜分析結(jié)果，建立光譜數(shù)據(jù)庫(kù)系統(tǒng)（Spectral database system，SDBS）是非常必要的。
　　本課題以蘋果為檢測(cè)對(duì)象，探索構(gòu)建用于蘋果NIR光譜及其分析結(jié)果管理的數(shù)據(jù)庫(kù)系統(tǒng)的方法。首先，研究了蘋果NIR光譜匹配算法（S

3、pectral matchingalgorithm，SMA）。根據(jù)杰卡德相似系數(shù)（Jaccard similarity coefficient，JSC）構(gòu)造全光譜匹配算法(Spectral matching algorithm based on JSC，SMA-JSC)，將曲線線形作為光譜匹配指標(biāo)引入到光譜匹配中來。其次，本文還利用曲線平滑算法、曲線譜峰識(shí)別方法對(duì)蘋果NIR光譜有效特征峰識(shí)別進(jìn)行研究。優(yōu)選了蘋果NIR光譜曲線譜峰識(shí)別參數(shù)

4、，實(shí)現(xiàn)了蘋果NIR光譜有效特征峰的自動(dòng)識(shí)別。并在此基礎(chǔ)上對(duì)光譜特征峰匹配算法（Spectral matching algorithm with peak information，SMA-P）進(jìn)行研究。最后，根據(jù)以上研究所得出的結(jié)論，開發(fā)了蘋果NIR SDBS原型系統(tǒng)。
　　本文的主要內(nèi)容和研究結(jié)果如下:
　　(1)分析和研究了蘋果NIR光譜特征峰自動(dòng)識(shí)別方法，優(yōu)選了蘋果NIR光譜特征峰識(shí)別參數(shù)。由于常用曲線平滑算法容易導(dǎo)致光

5、譜特征峰波段產(chǎn)生較大的形變，導(dǎo)致特征峰參數(shù)產(chǎn)生偏差，且無法滿足特征峰自動(dòng)識(shí)別的要求。本文提出一種基于數(shù)據(jù)點(diǎn)加權(quán)的曲線平滑算法，在固定寬度的滑動(dòng)窗口內(nèi)根據(jù)曲線波動(dòng)頻率對(duì)中心數(shù)據(jù)點(diǎn)加權(quán)，對(duì)權(quán)重不同的數(shù)據(jù)點(diǎn)采用不同的平滑算法進(jìn)行平滑。當(dāng)權(quán)重閾值大于0.5時(shí)，經(jīng)過平滑的曲線均方根（Root mean square，RMS）值變化不明顯，當(dāng)窗口大小為21時(shí)，對(duì)特征峰波段的保護(hù)效果最優(yōu)。選擇峰寬和峰形指數(shù)作為假性峰(Pseudo peak，PP)過

6、濾指標(biāo)，測(cè)試了20個(gè)水平的峰寬閾值（Tpw∶3～41）對(duì)PP的過濾效果，當(dāng)Tpw達(dá)到29時(shí)，無法通過繼續(xù)增大Tpw過濾其他PP;繼續(xù)采用峰形指數(shù)閾值（Tps）過濾其他PP，當(dāng)閾值為0.005時(shí)，濾除效果最佳。比較了8～128cm-1分辨率下的光譜特征峰識(shí)別情況，在32或64cm-1分辨率下的特征峰識(shí)別效果最佳，當(dāng)分辨率繼續(xù)降低時(shí)，光譜數(shù)據(jù)點(diǎn)數(shù)逐漸減小，無法滿足Tpw的要求，特征峰識(shí)別效果變差。結(jié)果表明:當(dāng)光譜分辨率為32cm-1，加權(quán)窗

7、口為21，權(quán)重閾值為0.7，平滑窗口大小為21，Tpw為29，Tps為0.005時(shí)，特征峰位1正確識(shí)別率為100％，特征峰位2正確識(shí)別率為99.50％，可以實(shí)現(xiàn)蘋果NIR光譜特征峰及相關(guān)參數(shù)的自動(dòng)計(jì)算。
　　(2)研究了用于蘋果NIR光譜的SMA-P。對(duì)SMA-P區(qū)分不同樣品光譜的能力進(jìn)行驗(yàn)證，采用阿克蘇紅富士，山東紅將軍，陜西紅富士和陜西黃金帥4個(gè)類別，每個(gè)類別100個(gè)樣品，共400個(gè)樣品進(jìn)行測(cè)試。在400條試驗(yàn)樣品光譜中隨機(jī)抽

8、取20條與所有樣品光譜進(jìn)行比較。分別采用特征峰個(gè)數(shù)、峰位、峰面積和峰寬作為光譜匹配指標(biāo)進(jìn)行匹配，抽取的20條光譜與總體樣品光譜中多條光譜完全匹配的比率分別為100％、25.00％、10.00％和0。因此，采用特征峰寬或面積指標(biāo)區(qū)分不同樣品光譜效果較好。進(jìn)一步采用特征峰寬和面積作為光譜匹配指標(biāo)對(duì)樣品光譜進(jìn)行分類測(cè)試，平均分類正確率分別為47.25％和55.00％。此結(jié)果表明:SMA-P對(duì)不同類別的蘋果樣品分類識(shí)別能力較差，不能勝任蘋果NI

9、RSDBS對(duì)未知樣品進(jìn)行分類初選的任務(wù)。
　　(3)研究了用于蘋果NIR光譜的全光譜匹配算法（Spectral matching algorithm with full spectral information，SMA-FS）。對(duì)SMA-FS，包括絕對(duì)差異法(Absolute distance，AD)、總體平方差法(Sum of square difference，SSD)、歐式距離法(Euclidean distance，ED)

10、、相關(guān)系數(shù)法(Correlation coefficient，CC)和光譜角法（Spectral angle，SA），區(qū)分不同樣品光譜的能力進(jìn)行驗(yàn)證。仍采用(2)中所描述的測(cè)試樣品和測(cè)試方法進(jìn)行測(cè)試，結(jié)果表明上述5種SMA-FS均能夠正確區(qū)分不同樣品光譜。進(jìn)一步采用這5種SMA-FS對(duì)樣品光譜進(jìn)行分類測(cè)試，平均分類識(shí)別正確率分別為65.50％、66.00％、73.00％、64.75％和62.75％，分類結(jié)果明顯優(yōu)于SMA-P的分類結(jié)果，

11、但正確率仍有待進(jìn)一步提高。根據(jù)JSC原理構(gòu)造全光譜匹配算法SMA-JSC。采用(2)中所描述的測(cè)試樣品和測(cè)試方法進(jìn)行測(cè)試，結(jié)果表明SMA-JSC能夠正確區(qū)分不同樣品的光譜。進(jìn)一步采用SMA-JSC對(duì)樣品光譜進(jìn)行分類測(cè)試，對(duì)應(yīng)平均分類識(shí)別正確率為:94.50％（校正）和95.00％（內(nèi)部驗(yàn)證）;進(jìn)一步擴(kuò)大測(cè)試范圍，采用甘肅紅富士、山東紅富士和陜西紅富士三個(gè)類別的蘋果，每個(gè)類別100個(gè)樣品，共300個(gè)樣品進(jìn)行上述測(cè)試。結(jié)果進(jìn)一步證實(shí)SMA-

12、JSC能夠正確區(qū)分不同樣品的光譜，對(duì)應(yīng)平均分類識(shí)別正確率為:93.67％和93.33％;為了驗(yàn)證擴(kuò)大測(cè)試樣品集對(duì)算法的影響，將兩個(gè)測(cè)試樣品集合并后再進(jìn)行上述測(cè)試。結(jié)果表明SMA-JSC仍然能夠正確區(qū)分所有不同樣品的光譜，對(duì)應(yīng)平均分類識(shí)別正確率為:94.14％和94.29％，算法性能并未因測(cè)試樣品集的擴(kuò)大而降低。采用判別分析法(Discriminant analysis，DA)對(duì)以上樣品光譜進(jìn)行分類測(cè)試。兩兩分類平均精度分別為:98.60

13、％（原始光譜）、95.90％（一階導(dǎo)數(shù)）和96.30％（二階導(dǎo)數(shù)），隨著樣類別數(shù)量的增加，分類正確率逐漸下降，當(dāng)對(duì)以上7類樣品進(jìn)行分類時(shí)，正確率降低為:88.00％、56.40％和58.40％。以上結(jié)果表明:SMA-JSC對(duì)多類別的蘋果樣品分類識(shí)別正確率遠(yuǎn)高于SMA-P和常見的SMA-FS，具有受樣品類別數(shù)量影響小，分類精度高和性能穩(wěn)定的優(yōu)點(diǎn)。相比較而言，分類樣品類別的增加將導(dǎo)致傳統(tǒng)分類算法效果變差。因此，在上述幾類算法中，SMA-JS

14、C最適用于蘋果NIRSDBS的分類篩選任務(wù)，為蘋果NIR SDBS的查詢分析正確率的提高提供了有力保障。
　　(4)制定蘋果NIR SDBS入庫(kù)光譜規(guī)范。從標(biāo)準(zhǔn)樣品選擇、樣品預(yù)處理方法、光譜采集儀器、儀器參數(shù)設(shè)置、光譜采集試驗(yàn)環(huán)境等影響光譜品質(zhì)的因素著手，充分利用前人的研究成果和領(lǐng)域知識(shí)，并結(jié)合本文的研究結(jié)論制定了蘋果NIR SDBS入庫(kù)光譜規(guī)范。此項(xiàng)工作為蘋果NIR SDBS的數(shù)據(jù)規(guī)范性和一致性提供了理論依據(jù)和指導(dǎo)。