統(tǒng)計機器翻譯中翻譯知識優(yōu)化方法研究.pdf

1、現(xiàn)有統(tǒng)計機器翻譯系統(tǒng)對于大規(guī)模訓練語料有著較強的依賴性,原因在于:大規(guī)模雙語訓練語料往往蘊含豐富的翻譯知識和語言知識,對于翻譯模型和目標語言模型都有著積極的指導作用。然而,隨著訓練語料規(guī)模的增長,往往會出現(xiàn)如下一種無法回避的負面問題:翻譯知識中存在著冗余信息和錯誤信息,誤導翻譯模型和語言模型的學習與應用。本研究主要內(nèi)容包括：
　　⑴訓練語料選擇。以訓練語料的質(zhì)量為評價標準,提出了基于分類的平行語料選擇方法。利用句對特征的排序結(jié)果構

2、建區(qū)分性較大的正負例句對,然后使用上述區(qū)分性較大的句對訓練分類器,最后借助分類器自動地進行語料質(zhì)量判定分類工作。判定完語料質(zhì)量后,僅選擇語料質(zhì)量好的句對作為機器翻譯系統(tǒng)的訓練語料。在大規(guī)模語料上進行的實驗表明本文所提方法能比基準系統(tǒng)高出0.87個BLEU點。
　　⑵翻譯知識中噪音的過濾。針對口語翻譯系統(tǒng)中實詞翻譯丟失的問題,本文選擇在層次短語模型上開展研究。針對層次短語模型特點,本文提出一種啟發(fā)式的短語表(翻譯知識)過濾方法。該方

3、法有效地將一些含有實詞翻譯丟失現(xiàn)象的噪音短語進行排除。本文選擇在口語翻譯任務上進行實驗,實驗結(jié)果表明本方法能在有效緩解實詞翻譯丟失問題的同時提高BLEU值。
　?、欠g知識中主題信息的融合。選擇在調(diào)序模型中融入主題信息。首先,利用主題模型估計訓練語料的主題信息,然后使用設計的主題信息特征模板抽取含有主題信息的調(diào)序?qū)嵗?使用抽取出的調(diào)序?qū)嵗柧氄{(diào)序模型。最后我們將融合文檔主題信息的調(diào)序模型集成到機器翻譯系統(tǒng)中,并設計出該系統(tǒng)的翻譯解