基于條件隨機域的中文命名實體識別研究.pdf

1、命名實體識別（NER）是信息抽取的基礎模塊，在信息檢索、機器翻譯、數(shù)據(jù)挖掘、自動文摘等領域發(fā)揮著重要作用。本文以條件隨機域模型（Conditional Random Field）為基礎重點研究中文命名實體中的人名、地名、組織機構識別。本文的主要工作和特點如下： 1、本文系統(tǒng)詳細地介紹了條件隨機域模型，討論了該模型相對于其它序列標注統(tǒng)計模型的特點。 2、引入了互信息（Mutual Information）從現(xiàn)有的標注語料庫

2、資源中獲取外部統(tǒng)計詞典，在模型的訓練過程中利用統(tǒng)計詞典獲得外部特征。實驗表明外部特征的加入可以彌補訓練規(guī)模的不足、顯著的提高實體識別效果。 3、在組織機構名訓練過程中引入了基于置信度的主動學習算法，采用了密度加權的基于池的樣本選擇策略，能夠在耗費同樣標注成本的情況下在一定程度上提升系統(tǒng)性能，降低特征函數(shù)集的冗余。 4、利用現(xiàn)有的人民日報標注語料庫，以條件隨機域模型為基礎實現(xiàn)在字一級對于包括外國譯名在內(nèi)的中文人名、地名的識