中文名詞短語識別研究.pdf

1、名詞短語是漢語中的一種重要的短語類型，名詞短語識別是自然語言處理領(lǐng)域中的一項基礎(chǔ)且重要的任務(wù)。其正確識別可以簡化句子結(jié)構(gòu)、降低句法分析復雜度?；谏鲜雒~短語識別的重要性，本文提出了基于詞頻統(tǒng)計模型的名詞短語識別方法以及針對微博文本的基于條件隨機場模型的名詞短語識別方法，將統(tǒng)計與規(guī)則相結(jié)合，較好地完成了名詞短語的識別任務(wù)。
　　本文首先概述了名詞短語識別的概念、研究背景以及國內(nèi)外研究現(xiàn)狀，并對現(xiàn)有的方法進行研究和分析。通過對目前主

2、流方法的學習，決定采用規(guī)則和統(tǒng)計相結(jié)合的方法進行名詞短語識別。提出一種基于詞頻統(tǒng)計，計算名詞短語的共現(xiàn)頻率及構(gòu)詞可能性的閾值，識別漢語基本名詞短語的方法;根據(jù)詞在名詞短語中的不同角色，建立詞表，加入未登錄詞的處理、規(guī)則模板及糾錯處理，最后對結(jié)果中出現(xiàn)的問題進行分析并提出可能的解決方案。此外，在分析上述實驗結(jié)果的基礎(chǔ)上，對于當今熱門的微博文本進行專項研究。提出一種基于條件隨機場模型的中文微博名詞短語識別方法，在對微博文本規(guī)范化處理基礎(chǔ)上，

3、標記微博訓練語料中的名詞短語，訓練條件隨機場模型，加入微博名詞短語規(guī)則模板和停用詞表，識別微博測試文本中的名詞短語。
　　實驗表明，本文提出的名詞短語識別方法是有效的?；谠~頻統(tǒng)計模型的名詞短語識別方法，對建立的詞頻統(tǒng)計模型進行訓練，并在測試文本上分別進行實驗，在引入未登錄詞處理、規(guī)則模板處理及糾錯處理后，平均準確率、召回率及F值分別為91.28％、93.22％和92.24％。在對微博文本的識別實驗中，選取適合微博文本的條件隨機場