漢語(yǔ)基本名詞短語(yǔ)識(shí)別與語(yǔ)法信息獲取的互動(dòng)研究.pdf

1、漢語(yǔ)基本名詞短語(yǔ)自動(dòng)識(shí)別作為中文信息處理的基本任務(wù)之一，在淺層句法分析、信息抽取和檢索、機(jī)器翻譯等自然語(yǔ)言處理領(lǐng)域都有十分重要的理論價(jià)值和廣闊應(yīng)用前景。在語(yǔ)言學(xué)本體研究中，漢語(yǔ)基本名詞短語(yǔ)作為包含著豐富的語(yǔ)法信息的載體，它區(qū)別于一般的漢語(yǔ)名詞短語(yǔ)，其構(gòu)成基本名詞短語(yǔ)的實(shí)詞搭配形式，如：“名詞+名詞”、“形容詞+名詞”、“動(dòng)詞+名詞”、“名詞+動(dòng)詞”、“數(shù)詞+量詞+名詞”等搭配組合都是語(yǔ)言學(xué)家們研究與關(guān)注的重點(diǎn)。以往的漢語(yǔ)基本名詞短語(yǔ)自動(dòng)

2、識(shí)別研究只是在現(xiàn)有的人工標(biāo)注好的語(yǔ)料上進(jìn)行單一統(tǒng)計(jì)模型的自動(dòng)識(shí)別實(shí)驗(yàn)，并沒有很好地利用統(tǒng)計(jì)模型進(jìn)行自動(dòng)識(shí)別同時(shí)再融入語(yǔ)言學(xué)的相關(guān)信息來(lái)進(jìn)一步提高識(shí)別效果。
　　 本文的工作在約100萬(wàn)詞次973清華中文樹庫(kù)的基礎(chǔ)上，對(duì)其中所包含的基本名詞短語(yǔ)進(jìn)行了詳細(xì)的統(tǒng)計(jì)和分析，具體考察了基本名詞短語(yǔ)的詞性序列分布信息、長(zhǎng)度分布信息和音節(jié)組合模式分布信息，同時(shí)在參考黃昌寧先生在自動(dòng)分詞領(lǐng)域提出的詞位能產(chǎn)度計(jì)算公式的基礎(chǔ)上，對(duì)組成基本名詞短語(yǔ)的

3、詞語(yǔ)的詞位信息進(jìn)行計(jì)算和分析，這些相關(guān)的統(tǒng)計(jì)考察工作為接下來(lái)利用統(tǒng)計(jì)模型識(shí)別基本名詞短語(yǔ)提供必要的數(shù)據(jù)支持和統(tǒng)計(jì)決策。
　　 在基本名詞短語(yǔ)識(shí)別中，我們采用一種基于統(tǒng)計(jì)詞位信息的多標(biāo)記多特征的基本名詞短識(shí)別方法，在確定詞位標(biāo)記時(shí)，我們不是簡(jiǎn)單的采用當(dāng)前國(guó)際上通用的BIO語(yǔ)塊標(biāo)注體系，而是通過(guò)參考基本名詞短語(yǔ)的長(zhǎng)度語(yǔ)法信息和詞位語(yǔ)法信息來(lái)確定具體的標(biāo)記數(shù)目，并且結(jié)合一些有效的特征信息進(jìn)一步提高識(shí)別結(jié)果。在識(shí)別結(jié)果評(píng)價(jià)方面，我們進(jìn)一

4、步規(guī)范了對(duì)于語(yǔ)塊識(shí)別的評(píng)價(jià)標(biāo)準(zhǔn)，提出了采用未登錄短語(yǔ)召回率(Unkonwn Phrase Recall)做為評(píng)價(jià)識(shí)別基本名詞短語(yǔ)統(tǒng)計(jì)模型的重要標(biāo)準(zhǔn)，并且對(duì)不同的統(tǒng)計(jì)模型進(jìn)行了相關(guān)的對(duì)比識(shí)別實(shí)驗(yàn)。
　　 在互動(dòng)識(shí)別實(shí)驗(yàn)中，我們采用基于詞位信息校正的多分類器識(shí)別方法，主要思想是先計(jì)算出訓(xùn)練語(yǔ)料中組成基本名詞短語(yǔ)的詞語(yǔ)的詞位能產(chǎn)度統(tǒng)計(jì)量，再利用這些統(tǒng)計(jì)量對(duì)不同統(tǒng)計(jì)模型分類器的不同分類結(jié)果進(jìn)行校正。從實(shí)驗(yàn)結(jié)果上看，本文所使用的基于詞位信